如何选择损失函数

1.交叉熵 CrossEntropy

交叉熵与熵相对， 如同协方差与方差

熵考察的是单个的信息（分布）的期望：

$$H(p) = - \sum_{i=1}^n p(x_i) \log p(x_i)$$

交叉熵考察的是两个信息的（分布）的期望

$$H(p,q) = -\sum_{i=1}^n p(x_i) \log q(x_i)$$

2.交叉熵代价函数

$$L_H(\textbf x, \textbf z) = -\sum_{k=1}^d x_k \log z_k + (1-x_k) \log (1-z_k)$$

3.KL散度

KL散度和交叉熵都是衡量两个分布之间的性质，不同的是，交叉熵针对的是原始信号








(





x






k







)










$(x_k)$
和其重构信号








(





z








k







)










$(z_k)$
，而KL散度是：

$$H(\rho || \hat \rho) = - \sum_{j=1}^m \Big[\rho_j \log \hat\rho_j + (1-\rho_j) \log (1-\hat\rho_j)\Big]$$

其中：













ρ






^









=





1






k
















∑






k








i


=


1












h






i















$\hat\rho = \frac{1}{k} \sum_{i=1}^k h_i$
(遍历的是层内的所有输出，











∑








j


=


1








m










则








是








遍








历








所








有








的








层













$\sum \limits_{j=1}^m则是遍历所有的层$
)