博客

1.极大似然估计中采样产生的样本需要满足一个重要假设，所有采样的样本都是独立同分布的。
2.极大似然估计是在模型已定，参数未知的情况下，估计模型中的具体参数。
3.极大似然估计的核心是让产生所采样的样本出现的概率最大。即利用已知的样本结果信息，反推具有最大可能导致这些样本结果出现的模型的参数值。
既然事情已经发生了，为什么不让这个出现的结果的可能性最大呢？这也就是最大似然估计的核心。
求最大似然函数估计值的一般步骤：
（1）写出似然函数；似然函数值的大小意味着这组样本值出现的可能性的大小，是个概率值。
（2）对似然函数取$\ln$对数，并整理化简；对数函数是单调增函数，所以对数函数取最大值时，原函数也取得最大值。（对数函数$y=\log_a{x}$，当$a>1$时单调递增，当$0<a<1$时单调递减。）
（3）求导数，令导数为0，得到似然方程；
（4）解似然方程，得到的参数即为所求；

下面使用极大似然法对逻辑斯蒂回归中的参数进行估计：
1.假设当前的样本为$\{(x_1,y_1=1),(x_2,y_2=0),(x_3,y_3=1),(x_4,y_4=0),(x_5,y_5=0)\}$，样本是满足独立同分布的。
2.模型为$P(Y=1|x)=\frac{1}{1+\exp(-w \cdot x )}$，表示一个样本$x$在该模型下预测值为1的概率，满足“模型已定，参数未知”的原则。
3.由于样本是满足独立同分布的，那么出现以上样本分布的总概率为下式，需要让产生这一组样本的概率最大。

$$P=P(Y=1|x=x_1)P(Y=0|x=x_2)P(Y=1|x=x_3)P(Y=0|x=x_4)P(Y=0|x=x_5)$$
设 $P(Y=1|x)=\pi(x),P(Y=0|x)=1-\pi(x)$，则上式可以化为：

$$P={\prod\limits_{i=1}^5[\pi(x_i)]^{y_i}[1-\pi(x_i)]^{(1-y_i)}}$$

以上即为逻辑斯蒂回归的似然函数，似然函数的值的大小意味着该样本值出现的可能性的大小。需要最大化这个似然函数，使得出现这组样本的概率最大。可以将上式化为对数似然函数，之后将实际模型带入，求得似然函数在最大值时参数的实际值。具体参考：
《统计学习方法》第六章逻辑斯蒂回归与最大熵模型学习笔记

参考：
一文搞懂极大似然估计
最大似然估计的学习，这个对数学原理讲的很清楚