博客

LOSS及其梯度

1.MSE

???? = ∑ [? − (?? + ?)] ²

?2 − ???? = ||? − （?? + ?）|| ²

???? = ????(? − (?? + ?)) ²

torch.norm(y-predict,2).power(2)

MSE求导：

???? = ∑ [? − ??(?)] ²

∇???? /∇? = 2 ∑ [? − ?? (?)] ∗ (∇??(?)/ ∇?)

∇??(?)/ ∇? 这部分取决于网络结构，如y=wx+b的结构形式

利用pytorch自动求导

Gradient API

torch.autograd.grad(loss, [w1, w2,…]) → [w1 grad, w2 grad…]

loss.backward() → w1.grad 、w2.grad

1.1autograd.grad

返回梯度信息list

1.2 loss.backward

梯度信息在 变量.grad 里查看

2.Softmax

函数

求导

i=j时，梯度为正；否则，梯度为负。