博客

一、BP算法理解

① BP算法全称 (Error) Back Propagation 算法，中文名曰：误差反向传播算法。

②该算法是干嘛的？

计算梯度。更简单点，求(偏)导。对于简单的函数如下：

我们使用肉眼就可以看出其导数为

但是对于特别复杂的多元函数(例如下图)，计算偏导数就会非常麻烦，在高等数学(下)，我们通常是引入新的变量构造复合函数进行简化(成常见的 可以直接得出导函数的形式)，然后利用

链式求导法则

。

在前馈神经网络中，我们将引入新变量和链式求导结合起来，使用一种新的更加清晰的方式呈现–>

计算图(Computation Graph)

，最终从后向前推导得到多元函数(在机器学习中，该函数通常是目标函数或称为Loss Function)在特定点下的梯度。

计算梯度的目的是为了最小化损失，也就是使得目标函数值最小。这里利用的原理是：函数值在

梯度的

反

方向

下降最快。

③ 结合计算图，利用BP算法 求复杂函数的梯度

具体实例是cs231n课程的。稍后补充。