极大似然估计的思想，就是在给定样本值的情况下，构建未知参数的函数，寻找能够使得观测到样本数据的可能性最大的估计参数。
定义似然函数为
L
(
θ
;
y
1
,
⋯
,
y
n
)
=
∏
i
=
1
n
f
(
y
i
;
θ
)
L(\theta;y_1,\cdots,y_n)=\prod_{i=1}^nf(y_i;\theta)
L
(
θ
;
y
1
,
⋯
,
y
n
)
=
i
=
1
∏
n
f
(
y
i
;
θ
)
似然函数与联合密度函数相等，只是似然函数中
θ
\theta
θ
为自变量。
极大似然估计量为
θ
M
L
^
=
arg max
ln
L
(
θ
;
y
)
\hat{\theta_{ML}}=\argmax\ln{L(\theta;y)}
θ
M
L
^
=
a
r
g
m
a
x
ln
L
(
θ
;
y
)
该无约束极值问题的一阶条件为
s
(
θ
;
y
)
=
∂
ln
L
(
θ
;
y
)
∂
θ
=
0
s(\theta;y)=\frac{\partial \ln L(\theta;y)}{\partial\theta}=0
s
(
θ
;
y
)
=
∂
θ
∂
ln
L
(
θ
;
y
)
=
0
对数似然函数的梯度向量为0，称为得分函数。可以证明，得分函数的期望为0。
线性回归模型的极大似然估计
假设线性回归模型为，
y
=
X
β
+
ϵ
\pmb{y=X\beta+\epsilon}
y
=
X
β
+
ϵ
y
=
Xβ
+
ϵ
y
=
X
β
+
ϵ
扰动项符合独立同分布的正态变量。
写出对数似然函数
ln
L
(
β
~
,
σ
~
2
)
\ln L(\tilde {\pmb \beta},\tilde \sigma^2)
ln
L
(
β
β
β
~
,
σ
~
2
)
，先计算给定
σ
~
2
\tilde \sigma^2
σ
~
2
的情况下选择最优
β
~
\tilde {\pmb \beta}
β
β
β
~
,再带入求得最优
σ
~
2
\tilde \sigma^2
σ
~
2
。
可以解得
β
~
M
L
=
(
X
T
X
)
−
1
X
T
y
\tilde {\pmb \beta}_{ML}=\pmb {(X^TX)^{-1}X^Ty}
β
β
β
~
M
L
=
(
X
T
X
)
−
1
X
T
y
(
X
T
X
)
−
1
X
T
y
(
X
T
X
)
−
1
X
T
y
σ
~
M
L
2
=
e
T
e
n
\tilde \sigma^2_{ML}=\frac{\pmb{e^Te}}{n}
σ
~
M
L
2
=
n
e
T
e
e
T
e
e
T
e
可以看出MLE对于
β
\beta
β
的估计与 OLS 是一致的，对于方差的估计则不同，但此差别在大样本下消失。MLE的方差估计量是有偏的，其优点在于大样本性质好。
三类渐进等价的统计检验
对于线性回归模型，检验
H
0
:
β
=
β
0
H_0:\beta=\beta_0
H
0
:
β
=
β
0
，其中
β
\beta
β
为位置参数，
β
0
\beta_0
β
0
已知，约束共有
K
K
K
个。
沃尔德检验(Wald test)
通过研究
β
\beta
β
的无约束估计量
β
^
U
\hat \beta_U
β
^
U
与
β
0
\beta_0
β
0
的距离来检验。其基本思想是，如果
H
0
H_0
H
0
正确，则
β
^
U
−
β
0
\hat \beta_U-\beta_0
β
^
U
−
β
0
的绝对值不应该很大。
似然比检验(LR)
LR检验的基本思想是，如果
H
0
H_0
H
0
正确，则
ln
L
(
β
^
U
)
−
ln
L
(
β
0
)
\ln {L(\hat \beta_U)}-\ln {L(\beta_0)}
ln
L
(
β
^
U
)
−
ln
L
(
β
0
)
不应该很大。
拉格朗日乘子检验(LM)
考虑有约束条件的对数似然函数最大化问题：
max
β
~
ln
L
(
β
~
)
s
.
t
.
β
=
β
0
\max_{\tilde \beta}\ln L(\tilde\beta)\\ s.t. \beta=\beta_0
β
~
max
ln
L
(
β
~
)
s
.
t
.
β
=
β
0
引入拉格朗日乘子函数
max
β
~
,
λ
ln
L
(
β
~
)
−
λ
′
(
β
~
−
β
0
)
\max_{\tilde \beta,\lambda}\ln L(\tilde\beta)-\lambda'(\tilde \beta-\beta_0)
β
~
,
λ
max
ln
L
(
β
~
)
−
λ
′
(
β
~
−
β
0
)
其中，
λ
\lambda
λ
为拉格朗日乘子向量。如果
λ
\lambda
λ
接近0，则说明此约束条件不 tight，加上这个约束条件并不会使得似然函数的最大值下降很多，说明原假设很可能成立。对
β
~
\tilde \beta
β
~
求导，求得一阶极值条件为
λ
^
=
∂
ln
L
(
β
^
R
)
∂
β
~
\hat \lambda =\frac{\partial \ln L(\hat \beta_R)}{\partial \tilde \beta}
λ
^
=
∂
β
~
∂
ln
L
(
β
^
R
)
。LM反应的就是该梯度向量在约束估计量
β
^
R
\hat \beta_R
β
^
R
处接近0的程度。
对正态分布假设的检验
QQ plot
将正态分布的分位数与残差的分位数画为散点图，如果残差来自正态分布，则散点应该集中在
y
=
x
y=x
y
=
x
线附近。
正态统计检验
常用的检验方法利用正态分布的偏度和峰度。较常用的雅克-贝拉检验 (JB) 利用偏度和超额峰度的平方加权求和和作为统计量，该统计量服从自由度为2的卡方分布。Stata中的检验方法基于峰度与偏度设计了更复杂的检验统计量。(
help sktest
)
有时可以通过取对数使变量变得更接近正态分布。