神经网络权重梯度的推导

  • Post author:
  • Post category:其他


本文转自:

https://cloud.tencent.com/developer/news/208702

——————————————————————————————————–


bp


神经


网络

是一种多层的前馈

神经


网络

,其主要的特点是:信号是前向传播的,而误差是反向传播的。下面以4层网络为例进行相关推导。

——————————————————————————————————–

神经网络的相关图解

4层神经网络为例

权重矩阵

前向传播生成神经网络

均方误差损失函数权重梯度

对数损失函数权重梯度

权重梯度推导出来后,就可以应用梯度下降法求解神经网络的权重或参数了。