博客

LOSS及其梯度

1.MSE

𝑙𝑜𝑠𝑠 = ∑ [𝑦 − (𝑥𝑤 + 𝑏)] ²

𝐿2 − 𝑛𝑜𝑟𝑚 = ||𝑦 − （𝑥𝑤 + 𝑏）|| ²

𝑙𝑜𝑠𝑠 = 𝑛𝑜𝑟𝑚(𝑦 − (𝑥𝑤 + 𝑏)) ²

torch.norm(y-predict,2).power(2)

MSE求导：

𝑙𝑜𝑠𝑠 = ∑ [𝑦 − 𝑓𝜃(𝑥)] ²

∇𝑙𝑜𝑠𝑠 /∇𝜃 = 2 ∑ [𝑦 − 𝑓𝜃 (𝑥)] ∗ (∇𝑓𝜃(𝑥)/ ∇𝜃)

∇𝑓𝜃(𝑥)/ ∇𝜃 这部分取决于网络结构，如y=wx+b的结构形式

利用pytorch自动求导

Gradient API

torch.autograd.grad(loss, [w1, w2,…]) → [w1 grad, w2 grad…]

loss.backward() → w1.grad 、w2.grad

1.1autograd.grad

返回梯度信息list

1.2 loss.backward

梯度信息在 变量.grad 里查看

2.Softmax

函数

求导

i=j时，梯度为正；否则，梯度为负。