博客

线性回归模型

一、线性模型理论

1.1 定义

y

=

β

0

+

∑

i

=

1

k

f

i

(

x

1

,

⋅

⋅

⋅

,

x

m

)

β

i

+

ε

,

ε

⇔

N

(

0

,

σ

2

)

y = \beta_0 + \sum_{i=1}^{k}f_i(x_1,···,x_m)\beta_i + \varepsilon, \varepsilon \Leftrightarrow N(0, \sigma^2)

y=β0​+i=1∑k​fi​(x1​,⋅⋅⋅,xm​)βi​+ε,ε⇔N(0,σ2)

• “线性”是针对未知参数 $\beta$
• $Ey={\beta }_0+x_1{\beta }_1+...+x_k{\beta }_k$
• $y={\beta }_0+x_1{\beta }_1+...+x_k{\beta }_k+\epsilon ,E\epsilon =0$

1.2 参数的估计

Y

=

X

β

+

ε

Y = X\beta + \varepsilon

Y=Xβ+ε
1、未知参数

β 的估计：最小二乘估计（LSE）

• $||Y-X\hat{\beta }|{|}^2=inf||Y-X\beta |{|}^2,\beta \in R^{k+1}$
• 求解思路：平方和分解
  $$||Y-X\beta |{|}^2=||Y-X\hat{\beta }|{|}^2+||X(\hat{\beta }-\beta )|{|}^2+2(\hat{\beta }-\beta {)}^T{X}^T(Y-X\hat{\beta })$$
• 正规方程：$(X^{T}X)\hat{\beta }=X^{T}Y$
• 经验回归函数：$X\hat{\beta }$
• 经验回归方程：$Y=X\hat{\beta }$

2、误差方差

σ2 的估计

y

i

=

β

0

+

β

1

x

i

1

+

.

.

.

+

β

k

x

i

k

+

ε

i

,

1

≤

i

≤

n

y_i = \beta_0 + \beta_1x_{i1} + … + \beta_kx_{ik} + \varepsilon_i,1\le i\le n

yi​=β0​+β1​xi1​+...+βk​xik​+εi​,1≤i≤n

• 残差
  $$e_i=y_i-\widehat{{\beta }_0}+\widehat{{\beta }_1}{x}_{i1}+...+\widehat{{\beta }_k}{x}_{ik}$$
• 残差平方和
  $$Q_e=e_1^2+e_2^2+...+e_n^2=||Y-X\hat{\beta }|{|}^2=Y^T(I_n-X{S}^{-1}{X}^T)Y$$

3、线性模型的最小二乘估计

• $\beta$
• ${\sigma }^2$

4、最小二乘估计的无偏性质

• E

  (

  Y

  T

  A

  Y

  )

  =

  (

  E

  Y

  )

  T

  A

  (

  E

  Y

  )

  +

  t

  r

  {

  A

  [

  V

  a

  r

  (

  Y

  )

  ]

  }

  E(Y^TAY) = (EY)^TA(EY) + tr\{A[Var(Y)]\}

  E(YTAY)=(EY)TA(EY)+tr{A[Var(Y)]}

• $EY=X\beta ,Var(Y)={\sigma }^2{I}_n$
• $\hat{\beta }=(X^{T}X{)}^{-1}{X}^{T}Y$
• 残差平方和的数学期望是：$E(Q_e)=(n-k-1){\sigma }^2$

1.3 估计量的分布

• $\hat{\beta }=S^{-1}{X}^{T}Y$
• $\frac{n-k-1}{{\sigma }^2}{\hat{\sigma }}^2=\frac{1}{{\sigma }^2}{Y}^T(I_n-X{S}^{-1}{X}^T)Y$
• $\hat{\beta }$

二、一元回归与相关分析

1.1 定义

1、回归分析：研究一个（或多个）自变量的变化如何影响因变量。
2、相关分析：研究这两个数值变量的相关程度。
3、回归方程

y

=

β

0

+

x

1

β

1

+

.

.

.

+

x

k

β

k

y = \beta_0 + x_1\beta_1 + … + x_k\beta_k

y=β0​+x1​β1​+...+xk​βk​

1.2 一元线性回归模型

y

i

=

β

0

+

β

1

x

i

+

ε

i

,
     

1

≤

i

≤

n

y_i = \beta_0 + \beta_1x_i + \varepsilon_i, \,\,\,\,\, 1 \le i \le n

yi​=β0​+β1​xi​+εi​,1≤i≤n

• $\widehat{{\beta }_0}=\overline{y}-\widehat{{\beta }_1}\overline{x}$
• $\widehat{{\beta }_1}=\frac{L_{xy}}{L_{xx}}$
• ${\hat{\sigma }}^2=\frac{1}{n-2}(L_{yy}-\widehat{{\beta }_1}{L}_{xy})$

1.2 简单的相关分析

T

S

S

=

R

e

g

S

S

+

R

S

S

TSS = RegSS + RSS

TSS=RegSS+RSS

• 总（变差）平方和
  $$TSS=\sum _{i=1}^n(y_i-\overline{y}{)}^2$$
• 回归平方和
  $$RegSS=\sum _{i=1}^n(\widehat{y_i}-\overline{y}{)}^2$$
• 残差平方和
  $$RSS=\sum _{i=1}^n(y_i-\widehat{y_i}{)}^2$$
• 相关系数

  r

  r

  r
  

  r

  2

  =

  R

  e

  g

  S

  S

  T

  S

  S

  =

  L

  x

  y

  2

  L

  x

  x

  L

  y

  y

  r^2 = \frac{RegSS}{TSS} = \frac{L_{xy}^2}{L_{xx}L_{yy}}

  r2=TSSRegSS​=Lxx​Lyy​Lxy2​​

1.3 回归方程的检验与区间估计

1、回归系数的假设检验

• $H_0:{\beta }_1=0$
• $\widehat{{\beta }_0}$
• $\widehat{{\beta }_1}$
• $\widehat{{\beta }_0}$
• ${\sigma }^2$
• 要检验回归关系是否显著，可以利用 $t$
• 更多的是采用
  $$\frac{\widehat{{\beta }_1}}{\hat{\sigma }}{L}_{xx}\iff F(1,n-2)\iff \frac{(n-2)L_{xy}^2}{L_{xx}{L}_{yy}-L_{xy}^2}$$
• 否定域
  $$F=\frac{(n-2)r^2}{(1-r^2)}>F_{0.05}(1,n-2)$$

2、回归系数的区间估计

β

1

^

σ

^

∑

i

=

1

n

(

x

i

−

x

‾

)

2

⇔

t

(

n

−

2

)

\frac{\hat{\beta_1}}{\hat{\sigma}}\sqrt{\sum_{i=1}^n(x_i-\overline{x})^2} \Leftrightarrow t(n-2)

σ^β1​^​​i=1∑n​(xi​−x)2
​⇔t(n−2)

β

1

^

−

σ

^

∑

i

=

1

n

(

x

i

−

x

‾

)

2

t

α

/

2

(

n

−

2

)

—

—

β

1

^

+

σ

^

∑

i

=

1

n

(

x

i

−

x

‾

)

2

t

α

/

2

(

n

−

2

)

\hat{\beta_1} – \frac{\hat{\sigma}}{\sqrt{\sum_{i=1}^n(x_i-\overline{x})^2}}t_{\alpha/2}(n-2) —— \hat{\beta_1} + \frac{\hat{\sigma}}{\sqrt{\sum_{i=1}^n(x_i-\overline{x})^2}}t_{\alpha/2}(n-2)

β1​^​−∑i=1n​(xi​−x)2
​σ^​tα/2​(n−2)——β1​^​+∑i=1n​(xi​−x)2
​σ^​tα/2​(n−2)

1.4 回归方程的预测与控制

1、回归方程的预测

y

0

−

y

0

∗

⇔

N

(

0

,

σ

2

[

1

+

1

n

+

(

x

0

−

x

‾

)

2

∑

i

=

1

n

(

x

i

−

x

‾

)

2

]

)

y_0 – y_0^* \Leftrightarrow N(0, \sigma^2[1 + \frac{1}{n} + \frac{(x_0 – \overline{x} )^2}{\sum_{i=1}^n (x_i – \overline{x})^2}])

y0​−y0∗​⇔N(0,σ2[1+n1​+∑i=1n​(xi​−x)2(x0​−x)2​])

β

0

^

+

β

1

x

0

−

h

^

—

—

β

0

^

+

β

1

x

0

+

h

^

\hat{\beta_0} + \hat{\beta_1 x_0 – h}——\hat{\beta_0} + \hat{\beta_1 x_0 + h}

β0​^​+β1​x0​−h^​——β0​^​+β1​x0​+h^​

h

=

t

α

/

2

(

n

−

2

)

σ

^

1

+

1

n

+

(

x

0

−

x

‾

)

2

∑

i

=

1

n

(

x

i

−

x

‾

)

2

h = t_{\alpha/2}(n-2)\hat{\sigma}\sqrt{1 + \frac{1}{n} + \frac{(x_0 – \overline{x} )^2}{\sum_{i=1}^n (x_i – \overline{x})^2}}

h=tα/2​(n−2)σ^1+n1​+∑i=1n​(xi​−x)2(x0​−x)2​
​
2、回归方程的控制

• 上述方程与下两个方程同时成立：
  $$A\le y_0^{\ast }-h{y}_0^{\ast }+h\le B$$

3、注意

• 实际问题中回归模型的建立要依赖于专业知识，并且注意散点图的使用
• 即使回归模型通过了检验也只能认为所研究的变量是统计相关的
• 回归分析一般需要与相关分析结合起来
• 异方差性、序列相关性、多重共线性问题

三、多元回归分析

1.1 未知参数的估计

• 同上

1.2 回归模型的检验

• $H_0:{\beta }_1={\beta }_2=...={\beta }_k=0$

1.3 回归因子的挑选

• 逐步回归的想法：
  $$H_{0i}：{\beta }_i=0\iff H_{1i}:{\beta }_i\ne 0$$
• $t$

  n−k−1
  

  T

  i

  =

  β

  i

  ^

  c

  i

  i

  σ

  ^

  T_i = \frac{\hat{\beta_i}}{\sqrt{c_{ii}}\hat{\sigma}}

  Ti​=cii​
  ​σ^βi​^​​

• F

  F

  F 检验
  

  F

  i

  =

  β

  i

  ^

  2

  c

  i

  i

  σ

  ^

  2

  F_i = \frac{\hat{\beta_i}^2}{c_{ii}\hat{\sigma}^2}

  Fi​=cii​σ^2βi​^​2​