权值初始化的方法主要有：常量初始化（constant）、高斯分布初始化（gaussian）、positive_unitball初始化、均匀分布初始化（uniform）、xavier初始化、msra初始化、双线性初始化（bilinear）。可参考
博客
。
重点介绍xavier与msra。
xavier初始化
对于权值的分布：均值为0，方差为（1 / 输入的个数） 的 均匀分布。推导过程参考
博客
msra初始化
对于权值的分布：基于均值为0，方差为( 2/输入的个数)的高斯分布；它特别适合 ReLU激活函数，该方法主要是基于Relu函数提出的，推导过程，可以参考
博客
。
