博客

01一起来吃西瓜——线性回归

  • Post author:
  • Post category:其他


从西瓜书的第三章开始吃瓜哈

机器学习三要素

  1. 模型：根据具体问题，确定假设空间
  2. 策略：根据评价标准，确定选取最优模型的策略（通常会产生一个“损失函数”）
  3. 算法：求解损失函数，确定最优模型

特征值

  1. 连续性特征值【发际线高度】
  2. 二值离散型特征值【颜值】（好看：1，不好看：0）
  3. 有序的多值离散特征值【饭量】（小：1，中：2，大：3）
  4. 无序的多值离散特征【肤色】（黄：[0,0,1]，黑：[0,1,0]，白：[1,0,0]）

一元线性回归

假设特征数只有1个，拟合回归：

f(xi)=wxi+b

使得

f(xi)\simeq yi

最小二乘法

E(w,b)=\sum_{i=1}^{m}(yi-f(xi))^{2} =\sum_{i=1}^{m} (yi-wxi-b)^{2}

arg\, min(w,b)=\sum_{i=1}^{m}(yi-wxi-b)^2

从arg min式子中求得w和b

极大似然估计

L(\theta )=\prod_{i=1}^{m} P(xi;\theta )

X\sim N(\mu,\sigma 2)

概率密度函数：

p(x;\mu,\sigma 2 )=\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(x-\mu)2}{2\sigma 2 })

似然函数：

L(\mu,\sigma2 )=\prod_{i=1}^{n}p(xi;\mu,\sigma2 )=\prod_{i=1}^{n}\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(xi-\mu)2}{2\sigma 2 })

求L最大时候的μ和σ的值

取对数

lnL(\mu,\sigma2 )=ln[\prod_{i=1}^{n}p(xi;\mu,\sigma2 )]=\sum_{i=1}^{n}lnp(xi;\mu,\sigma2 )=\sum_{i=1}^{n}ln\frac{1}{\sqrt{2\pi }\sigma }exp(-\frac{(xi-\mu)2}{2\sigma 2 })

对于线性函数，假设以下模型：

y=wx+b+\varepsilon

\varepsilon \sim N(0,\sigma 2)

p\left (\varepsilon\right )=\frac{1}{\sqrt{2\pi }\sigma }exp\left ( -\frac{\varepsilon ^{2}}{2\sigma ^{2}} \right )

\varepsilon =y-wx-b

p\left (y\right )=\frac{1}{\sqrt{2\pi }\sigma }exp\left ( -\frac{\left ( y-wx-b \right )^{2}}{2\sigma ^{2}} \right )

L\left ( w,b \right )=\prod_{i=1}^{m}p(y_{i})=\prod_{i=1}^{m}\frac{1}{\sqrt{2\pi }\sigma }exp\left ( -\frac{\left ( y-wx-b \right )^{2}}{2\sigma ^{2}} \right )
lnL\left ( w,b \right )=\sum_{i=1}^{m}ln\frac{1}{\sqrt{2\pi }\sigma }exp\left ( -\frac{\left ( yi-wxi-b \right )^{2}}{2\sigma ^{2}} \right )=\sum_{i=1}^{m}ln\frac{1}{\sqrt{2\pi }\sigma }+\sum_{i=1}^{m}\left ( -\frac{\left ( yi-wxi-b \right )^{2}}{2\sigma ^{2}} \right )=mln\frac{1}{\sqrt{2\pi }\sigma }-\frac{1}{2\sigma ^{2}}\sum_{i=1}^{m}\left ( yi-wxi-b \right )^{2}

求 arg max lnL（w,b）等价于求arg min（yi-wxi-b）2

可以看出来最小二乘法和极大似然法都是殊途同归的

求解w和b

1.证明E(w,b)是凸函数

E(w,b)=\sum_{i=1}^{m}\left ( yi-wxi-b \right )^{2}

f\left ( \alpha x_{1}+(1-\alpha )x_{2} \right )\leq \alpha f(x_{1})+(1-\alpha )f(x_{2})

2.用凸函数的办法求w和b

\bigtriangledown E(w,b)=\begin{bmatrix} \frac{ \partial E(w,b)}{ \partial w}\\\frac{ \partial E(w,b)}{ \partial b} \end{bmatrix}=\begin{bmatrix}0\\0\end{bmatrix}

b=\frac{1}{m}\sum_{i=1}^{m}\left ( yi-wxi \right )

w=\frac{\sum_{i=1}^{m}yi(xi-\bar{x})}{\sum_{i=1}^{m}xi^{2}-\frac{1}{m}(\sum_{i=1}^{m}xi)^{^{2}}}


版权声明：本文为m0_60272485原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。