2.1 线性回归简介

学习目标

• 了解线性回归的应用场景
• 知道线性回归的定义

---

1 线性回归应用场景

• 房价预测
• 销售额度预测
• 贷款额度预测

举例：

2 什么是线性回归

2.1 定义与公式

线性回归(Linear regression)是利用

回归方程(函数)

对

一个或多个自变量(特征值)和因变量(目标值)之间

关系进行建模的一种分析方式。

• 特点：只有一个自变量的情况称为单变量回归，多于一个自变量情况的叫做多元回归

  

• 线性回归用矩阵表示举例

那么怎么理解呢？我们来看几个例子

• 期末成绩：0.7×考试成绩+0.3×平时成绩
• 房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率

上面两个例子，

我们看到特征值与目标值之间建立了一个关系，这个关系可以理解为线性模型

。

2.2 线性回归的特征与目标的关系分析

线性回归当中主要有两种模型，**一种是线性关系，另一种是非线性关系。**在这里我们只能画一个平面更好去理解，所以都用单个特征或两个特征举例子。

• 线性关系

  • 单变量线性关系：

  

  • 多变量线性关系

    

注释：单特征与目标值的关系呈直线关系，或者两个特征与目标值呈现平面的关系

更高维度的我们不用自己去想，记住这种关系即可

• 非线性关系

  

注释：为什么会这样的关系呢？原因是什么？

如果是非线性关系，那么回归方程可以理解为：

w_1x_1+w_2x_2

^2+w_3x_3

2

w

1

x

1+

w

2

x

22+

w

3

x

32

3 小结

• 线性回归的定义【了解】
  • 利用
    
    回归方程(函数)
    
    对
    
    一个或多个自变量(特征值)和因变量(目标值)之间
    
    关系进行建模的一种分析方式
• 线性回归的分类【知道】
  • 线性关系
  • 非线性关系

2.2 线性回归api初步使用

学习目标

• 知道线性回归api的简单使用

---

1 线性回归API

1.1. Linear Models — scikit-learn 1.1.2 documentation

• sklearn.linear_model.LinearRegression()
  • LinearRegression.coef_：模型的w的值
  • LinearRegression.intercept_：b的值

2 举例

2.1 步骤分析

• 1.获取数据集
• 2.数据基本处理（该案例中省略）
• 3.特征工程（该案例中省略）
• 4.机器学习
• 5.模型评估（该案例中省略）

2.2 代码过程

• 导入模块

from sklearn.linear_model import LinearRegression

• 构造数据集

x = [[80, 86],
[82, 80],
[85, 78],
[90, 90],
[86, 82],
[82, 90],
[78, 80],
[92, 94]]
y = [84.2, 80.6, 80.1, 90, 83.2, 87.6, 79.4, 93.4]

• 机器学习– 模型训练

# 实例化API
estimator = LinearRegression()
# 使用fit方法进行训练
estimator.fit(x,y)
#
print(estimator.coef_)
print(estimator.intercept_)

estimator.predict([[100, 80]])

3 小结

• sklearn.linear_model.LinearRegression()
  • LinearRegression.coef_：模型的w的值
  • LinearRegression.intercept_：b的值

2.3 数学:求导

学习目标

• 知道常见的求导方法
• 知道导数的四则运算

---

1 常见函数的导数

2 导数的四则运算

3 练习

4 矩阵（向量）求导 [了解]

参考链接：https://en.wikipedia.org/wiki/Matrix_calculus#Scalar-by-vector_identities

3 小结

• 常见函数的求导方式和导数的四则运算

2.4 线性回归的损失和优化

学习目标

• 知道线性回归中损失函数
• 知道使用梯度下降法对损失函数优化的过程

---

假设刚才的房子例子，真实的数据之间存在这样的关系：

真实关系：真实房子价格 = 0.02×中心区域的距离 + 0.04×城市一氧化氮浓度 + (-0.12×自住房平均房价) + 0.254×城镇犯罪率

那么现在呢，我们随意指定一个关系（猜测）

随机指定关系：预测房子价格 = 0.25×中心区域的距离 + 0.14×城市一氧化氮浓度 + 0.42×自住房平均房价 + 0.34×城镇犯罪率

请问这样的话，会发生什么？真实结果与我们预测的结果之间是不是存在一定的误差呢？类似这样样子

红色的先更好？是因为红线的损失更少。

既然存在这个误差，那我们就将这个误差给衡量出来

1 损失函数

总损失定义为：

• yi为第i个训练样本的真实值
• h(xi)为第i个训练样本特征值组合预测函数
• 这个公式也叫最小二乘法

如何去减少这个损失，使我们预测的更加准确些？既然存在了这个损失，我们一直说机器学习有自动学习的功能，在线性回归这里更是能够体现。这里可以通过一些优化方法去优化（其实是数学当中的求导功能）回归的总损失！！！

2 优化算法

如何去求模型当中的W，使得损失最小？（目的是找到最小损失对应的W值）

• 梯度下降法

2.1什么是梯度下降法

• 梯度下降法是用来优化模型，使模型达到最优解的方法。
• 在数学上，梯度，也叫导数。梯度的方向是模型函数值增长最快的方向，梯度的反方向就是函数值下降最快的方向。
• 目标函数也叫损失函数，该函数是衡量的模型的预测值和数据的真实值之间的差距，所以我们的目标是，使这个差距最小，这样模型的预测值就可以认为是数据的真实值。

梯度下降法的基本思想可以类比为一个下山的过程。

假设这样一个场景：

一个人

被困在山上，需要从山上下来

(i.e. 找到山的最低点，也就是山谷)。但此时山上的浓雾很大，导致可视度很低。

因此，下山的路径就无法确定，他必须利用自己周围的信息去找到下山的路径。这个时候，他就可以利用梯度下降算法来帮助自己下山。

具体来说就是，以他当前的所处的位置为基准，

寻找这个位置最陡峭的地方，然后朝着山的高度下降的地方走

，（同理，如果我们的目标是上山，也就是爬到山顶，那么此时应该是朝着最陡峭的方向往上走）。然后每走一段距离，都反复采用同一个方法，最后就能成功的抵达山谷。

梯度下降的基本过程就和下山的场景很类似。

首先，我们有一个

可微分的函数

。这个函数就代表着一座山。

我们的目标就是找到

这个函数的最小值

，也就是山底。

根据之前的场景假设，最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是

找到给定点的梯度

，然后朝着梯度相反的方向，就能让函数值下降的最快！因为梯度的方向就是函数值变化最快的方向。 所以，我们重复利用这个方法，反复求取梯度，最后就能到达局部的最小值，这就类似于我们下山的过程。而求取梯度就确定了最陡峭的方向，也就是场景中测量方向的手段。

2.2 梯度的概念

梯度是微积分中一个很重要的概念

• 
  在单变量的函数中，梯度其实就是函数的微分，代表着函数在某个给定点的切线的斜率；
  

• 
  在多变量函数中，梯度是一个向量，向量有方向，梯度的方向就指出了函数在给定点的上升最快的方向；
  

  • 在微积分里面，对多元函数的参数求∂偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。

这也就说明了为什么我们需要千方百计的求取梯度！我们需要到达山底，就需要在每一步观测到此时最陡峭的地方，梯度就恰巧告诉了我们这个方向。梯度的方向是函数在给定点上升最快的方向，那么梯度的反方向就是函数在给定点下降最快的方向，这正是我们所需要的。所以我们只要沿着梯度的反方向一直走，就能走到局部的最低点！

2.3 如何使用梯度下降法

给定函数：





f

(

x

,

y

)

=

3

x

2

+

4

y

2

−

10

f(x,y) = 3x^2+4y^2-10






f


(


x


,




y


)




=








3



x










2











+








4



y










2











−








10







求该函数的最小值。

1.随机初始化



x

x






x





和



y

y






y





的值



x

=

6

x=6






x




=








6





，



y

=

3

y=3






y




=








3





，

2.分别求出



f

(

x

,

y

f(x,y






f


(


x


,




y





)对



x

x






x





的导数



f

′

(

x

)

f^{‘}(x)







f























′


















(


x


)





和对



y

y






y





的导数



f

′

(

y

)

f^{‘}(y)







f























′


















(


y


)





：





f

′

(

x

)

=

6

x

=

36

;

f

′

(

y

)

=

8

y

=

24

f^{‘}(x) = 6x=36;f^{‘}(y) = 8y=24







f























′


















(


x


)




=








6


x




=








36


;





f























′


















(


y


)




=








8


y




=








24







3.修改



x

x






x





和



y

y






y





的值很小一点，比如





x

(

t

+

1

)

=

x

t

−

0.001

f

′

(

x

)

=

6

−

0.001

∗

36

=

5.964

x_{(t+1)} = x_t -0.001f^{‘}(x) = 6-0.001*36 = 5.964







x











(


t


+


1


)






​














=









x










t





​














−








0.001



f























′


















(


x


)




=








6




−








0.001




∗








36




=








5.964

y

(

t

+

1

)

=

y

t

−

0.001

f

′

(

y

)

=

3

−

0.001

∗

24

=

2.976

y_{(t+1)} = y_t -0.001f^{‘}(y) = 3 – 0.001*24 = 2.976







y











(


t


+


1


)






​














=









y










t





​














−








0.001



f























′


















(


y


)




=








3




−








0.001




∗








24




=








2.976

4.循环执行步骤2和步骤3，直到函数值达到最小（比如说我们前后两次函数值的差值为0，我们就说函数值达到了最小了）。

2.4 两个参数的梯度下降法一般流程：

在神经网络中，上面的例子中的x和y使用



w

1

w_1







w










1





​















和



w

2

w_2







w










2





​















表示，



f

(

x

,

y

)

f(x,y)






f


(


x


,




y


)





叫损失函数，我们的目标是使函数值最小。(我们可以简单的认为



3

x

2

+

4

y

2

3x^2+4y^2






3



x










2











+








4



y










2












是模型的预测值，10是数据的真实值。)

1.随机初始化



w

1

w_1







w










1





​















和



w

2

w_2







w










2





​















的值。

2.循环遍历：for i=1…收敛:

​



w

1

=

w

1

−

α

Δ

w

1

w_1 = w_1-\alpha\Delta{w_1}







w










1





​














=









w










1





​














−








α


Δ




w










1





​

​



w

2

=

w

2

−

α

Δ

w

2

w_2 = w_2-\alpha\Delta{w_2}







w










2





​














=









w










2





​














−








α


Δ




w










2





​

2.5 各种形式的梯度下降法

1.SGD：随机梯度下降法：求导数的时候使用一个样本

2.mini-batch梯度下降法：求导数的时候使用一批数据。

3.batch梯度下降法：求导数的时候使用全部的数据。

2.1 正规方程

2.1.1 什么是正规方程

X

W

=

Y

X

T

X

W

=

X

T

Y

(

X

T

X

)

−

1

X

T

X

W

=

(

X

T

X

)

−

1

X

T

Y

XW=Y \\ X^{T}XW = X^{T}Y \\ (X^{T}X)^{-1}X^{T}XW = (X^{T}X)^{-1}X^{T}Y






X


W




=








Y









X











T










X


W




=









X











T










Y








(



X











T










X



)











−


1











X











T










X


W




=








(



X











T










X



)











−


1











X











T










Y

2.5 线性回归api再介绍

学习目标

• 了解正规方程的api及常用参数
• 了解梯度下降法api及常用参数

---

• sklearn.linear_model.LinearRegression(fit_intercept=True)
  • 通过正规方程优化
  • 参数
    • fit_intercept：是否计算偏置，如果设置为False，不计算b，会拟合一条通过原点的直线。
  • 属性
    • LinearRegression.coef_：回归系数
    • LinearRegression.intercept_：偏置
• sklearn.linear_model.SGDRegressor(loss=“squared_loss”, fit_intercept=True, learning_rate =‘invscaling’, eta0=0.01)
  • SGDRegressor类实现了随机梯度下降学习，它支持不同的
    
    loss函数和正则化惩罚项
    
    来拟合线性回归模型。
  • 参数：
    • loss:损失类型
      • 
        loss=”squared_loss”: 普通最小二乘法
        
    • fit_intercept：是否计算偏置
    • eta0：学习率
  • 属性：
    • SGDRegressor.coef_：回归系数
    • SGDRegressor.intercept_：偏置

sklearn提供给我们两种实现的API， 可以根据选择使用

小结

• 正规方程
  • sklearn.linear_model.LinearRegression()
• 梯度下降法
  • sklearn.linear_model.SGDRegressor(）

2.6 案例：波士顿房价预测

学习目标

• 通过案例掌握正规方程和梯度下降法api的使用

---

1 案例背景介绍

• 数据介绍

给定的这些特征，是专家们得出的影响房价的结果属性。我们此阶段不需要自己去探究特征是否有用，只需要使用这些特征。到后面量化很多特征需要我们自己去寻找

2 案例分析

回归当中的数据大小不一致，是否会导致结果影响较大。所以需要做标准化处理。

• 数据分割与标准化处理
• 回归预测
• 线性回归的算法效果评估

3 回归性能评估

均方误差(Mean Squared Error)MSE)评价机制：

注：yi为预测值，



y

−

y^-







y










−












为真实值。

思考：MSE和最小二乘法的区别是？

• sklearn.metrics.mean_squared_error(y_true, y_pred)
  • 均方误差回归损失
  • y_true:真实值
  • y_pred:预测值
  • return:浮点数结果

4 代码实现

4.1 正规方程

from sklearn.datasets import load_boston
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.linear_model import LinearRegression
def linear_model1():
    """
    线性回归:正规方程
    :return:None
    """
    # 1.获取数据
    data = load_boston()

    # 2.数据集划分
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)

    # 3.特征工程-标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)

    # 4.机器学习-线性回归(正规方程)
    estimator = LinearRegression()
    estimator.fit(x_train, y_train)

    # 5.模型评估
    # 5.1 获取系数等值
    y_predict = estimator.predict(x_test)
    print("预测值为:\n", y_predict)
    print("模型中的系数为:\n", estimator.coef_)
    print("模型中的偏置为:\n", estimator.intercept_)

    # 5.2 评价
    # 均方误差
    error = mean_squared_error(y_test, y_predict)
    print("误差为:\n", error)

    return None
linear_model1()

4.2 梯度下降法

from sklearn.datasets import load_boston
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.linear_model import SGDRegressor
def linear_model2():
    """
    线性回归:梯度下降法
    :return:None
    """
    # 1.获取数据
    data = load_boston()

    # 2.数据集划分
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)

    # 3.特征工程-标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)

    # 4.机器学习-线性回归(特征方程)
    estimator = SGDRegressor(max_iter=1000)
    estimator.fit(x_train, y_train)

    # 5.模型评估
    # 5.1 获取系数等值
    y_predict = estimator.predict(x_test)
    print("预测值为:\n", y_predict)
    print("模型中的系数为:\n", estimator.coef_)
    print("模型中的偏置为:\n", estimator.intercept_)

    # 5.2 评价
    # 均方误差
    error = mean_squared_error(y_test, y_predict)
    print("误差为:\n", error)

    return None
linear_model2()

我们也可以尝试去修改学习率

estimator = SGDRegressor(max_iter=1000,eta0=0.1)

此时我们可以通过调参数，找到学习率效果更好的值。

5 小结

• 正规方程和梯度下降法api在真实案例中的使用【知道】
• 线性回归性能评估【知道】
  • 均方误差

2.7 欠拟合和过拟合

学习目标

• 掌握过拟合、欠拟合的概念
• 掌握过拟合、欠拟合产生的原因
• 知道什么是正则化，以及正则化的分类

---

1 定义

• 过拟合：一个假设
  
  在训练数据上能够获得比其他假设更好的拟合， 但是在测试数据集上却不能很好地拟合数据
  
  ，此时认为这个假设出现了过拟合的现象。(模型过于复杂)
• 欠拟合：一个假设
  
  在训练数据上不能获得更好的拟合，并且在测试数据集上也不能很好地拟合数据
  
  ，此时认为这个假设出现了欠拟合的现象。(模型过于简单)

那么是什么原因导致模型复杂？线性回归进行训练学习的时候变成模型会变得复杂，这里就对应前面再说的线性回归的两种关系，非线性关系的数据，也就是存在很多无用的特征或者现实中的事物特征跟目标值的关系并不是简单的线性关系。

2 原因以及解决办法

• 欠拟合原因以及解决办法
  • 原因：学习到数据的特征过少
  • 解决办法：
    • **1）添加其他特征项，**有时候我们模型出现欠拟合的时候是因为特征项不够导致的，可以添加其他特征项来很好地解决。例如，“组合”、“泛化”、“相关性”三类特征是特征添加的重要手段，无论在什么场景，都可以照葫芦画瓢，总会得到意想不到的效果。除上面的特征之外，“上下文特征”、“平台特征”等等，都可以作为特征添加的首选项。
    • 
      2）添加多项式特征
      
      ，这个在机器学习算法里面用的很普遍，例如将线性模型通过添加二次项或者三次项使模型泛化能力更强。
• 过拟合原因以及解决办法
  • 原因：原始特征过多，存在一些嘈杂特征， 模型过于复杂是因为模型尝试去兼顾各个测试数据点
  • 解决办法：
    • 1）重新清洗数据，导致过拟合的一个原因也有可能是数据不纯导致的，如果出现了过拟合就需要我们重新清洗数据。
    • 2）增大数据的训练量，还有一个原因就是我们用于训练的数据量太小导致的，训练数据占总数据的比例过小。
    • 
      3）正则化
      
    • 4）减少特征维度，防止
      
      维灾难
      

3 正则化

3.1 什么是正则化

在解决回归过拟合中，我们选择正则化。但是对于其他机器学习算法如分类算法来说也会出现这样的问题，除了一些算法本身作用之外（决策树、神经网络），我们更多的也是去自己做特征选择，包括之前说的删除、合并一些特征

如何解决？

在学习的时候，数据提供的特征有些影响模型复杂度或者这个特征的数据点异常较多，所以算法在学习的时候尽量减少这个特征的影响（甚至删除某个特征的影响），这就是正则化

注：调整时候，算法并不知道某个特征影响，而是去调整参数得出优化的结果

3.2 正则化类别

• L2正则化
  • 作用：可以使得其中一些W的都很小，都接近于0，削弱某个特征的影响
  • 优点：越小的参数说明模型越简单，越简单的模型则越不容易产生过拟合现象
  • Ridge回归
• L1正则化
  • 作用：可以使得其中一些W的值直接为0，删除这个特征的影响
  • LASSO回归

---

4 小结

• 欠拟合【掌握】
  • 在训练集上表现不好，在测试集上表现不好
  • 解决方法：
    • 继续学习
      • 1.添加其他特征项
      • 2.添加多项式特征
• 过拟合【掌握】
  • 在训练集上表现好，在测试集上表现不好
  • 解决方法：
    • 1.重新清洗数据集
    • 2.增大数据的训练量
    • 3.正则化
    • 4.减少特征维度
• 正则化【掌握】
  • 通过限制高次项的系数进行防止过拟合
  • L1正则化
    • 理解：直接把高次项前面的系数变为0
    • Lasso回归
  • L2正则化
    • 理解：把高次项前面的系数变成特别小的值
    • 岭回归

2.8 正则化线性模型

学习目标

• 知道正则化中岭回归的线性模型
• 知道正则化中lasso回归的线性模型
• 知道正则化中弹性网络的线性模型
• 了解正则化中early stopping的线性模型

---

• Ridge Regression 岭回归
• Lasso 回归
• Elastic Net 弹性网络
• Early stopping

1 Ridge Regression (岭回归)

岭回归是线性回归的正则化版本，即在原来的线性回归的 cost function 中添加正则项（regularization term）:

以达到在拟合数据的同时，使模型权重尽可能小的目的,岭回归代价函数:

• α=0：岭回归退化为线性回归

2 Lasso Regression(Lasso 回归)

Lasso 回归是线性回归的另一种正则化版本，正则项为权值向量的ℓ1范数。

Lasso回归的代价函数 ：

【注意 】

• Lasso Regression 的代价函数在 θi=0处是不可导的.
• 解决方法：在θi=0处用一个次梯度向量(subgradient vector)代替梯度，如下式
• Lasso Regression 的次梯度向量

Lasso Regression 有一个很重要的性质是：倾向于完全消除不重要的权重。

例如：当α 取值相对较大时，高阶多项式退化为二次甚至是线性：高阶多项式特征的权重被置为0。

也就是说，Lasso Regression 能够自动进行特征选择，并输出一个稀疏模型（只有少数特征的权重是非零的）。

3 Elastic Net (弹性网络)

弹性网络在岭回归和Lasso回归中进行了折中，通过

混合比(mix ratio) r

进行控制：

• r=0：弹性网络变为岭回归
• r=1：弹性网络便为Lasso回归

弹性网络的代价函数 ：

一般来说，我们应避免使用

朴素线性回归

，而应对模型进行一定的正则化处理，那如何选择正则化方法呢？

小结：

• 常用：岭回归

• 假设只有少部分特征是有用的：

  • 弹性网络
  • Lasso
  • 一般来说，弹性网络的使用更为广泛。因为在特征维度高于训练样本数，或者特征是强相关的情况下，Lasso回归的表现不太稳定。

• api:

  • from sklearn.linear_model import Ridge, ElasticNet, Lasso
    

4 Early Stopping [了解]

Early Stopping 也是正则化迭代学习的方法之一。

其做法为：在验证错误率达到最小值的时候停止训练。

5 小结

• Ridge Regression 岭回归
  • 就是把系数添加平方项
  • 然后限制系数值的大小
  • α值越小，系数值越大，α越大，系数值越小
• Lasso 回归
  • 对系数值进行绝对值处理
  • 由于绝对值在顶点处不可导，所以进行计算的过程中产生很多0，最后得到结果为：稀疏矩阵
• Elastic Net 弹性网络
  • 是前两个内容的综合
  • 设置了一个r,如果r=0–岭回归；r=1–Lasso回归
• Early stopping
  • 通过限制错误率的阈值，进行停止

2.9 线性回归的改进-岭回归

学习目标

• 知道岭回归api的具体使用

---

1 API

• sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver=“auto”, normalize=False)
  • 具有l2正则化的线性回归
  • alpha:正则化力度，也叫 λ
    • 
      λ取值：0~1 1~10
      
  • solver:会根据数据自动选择优化方法
    • 
      sag:如果数据集、特征都比较大，选择该随机梯度下降优化
      
  • Ridge.coef_:回归权重
  • Ridge.intercept_:回归偏置

2 观察正则化程度的变化，对结果的影响？

• 正则化力度越大，权重系数会越小
• 正则化力度越小，权重系数会越大

3 波士顿房价预测

from sklearn.datasets import load_boston
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.linear_model import Ridge
def linear_model3():
    """
    线性回归:岭回归
    :return:
    """
    # 1.获取数据
    data = load_boston()

    # 2.数据集划分
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)

    # 3.特征工程-标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)

    # 4.机器学习-线性回归(岭回归)
    estimator = Ridge(alpha=1)
    estimator.fit(x_train, y_train)

    # 5.模型评估
    # 5.1 获取系数等值
    y_predict = estimator.predict(x_test)
    print("预测值为:\n", y_predict)
    print("模型中的系数为:\n", estimator.coef_)
    print("模型中的偏置为:\n", estimator.intercept_)

    # 5.2 评价
    # 均方误差
    error = mean_squared_error(y_test, y_predict)
    print("误差为:\n", error)
linear_model3()

4 小结

• sklearn.linear_model.Ridge(alpha=1.0, fit_intercept=True,solver=“auto”)【知道】
  • 具有l2正则化的线性回归
  • alpha – 正则化
    • 正则化力度越大，权重系数会越小
    • 正则化力度越小，权重系数会越大

2.10 多项式回归与Pipeline

学习目标

• 知道多项式回归api的具体使用

---

1 API

• sklearn.preprocessing.PolynomialFeatures(degree=2)

  • 生成多项式特征
  • degree：生成不小于degree次幂的多项式特征。如给定两个特征【a,b】，degree=2，则生成【1，a，b，ab，
    
    
    
    a

    2

    a^2
    
    
    
    
    
    
    
    a
    
    
    
    
    
    
    
    
    
    
    2
    
    
    
    
    
    
    
    
    
    
    
    
    ,
    
    
    
    b

    2

    b^2
    
    
    
    
    
    
    
    b
    
    
    
    
    
    
    
    
    
    
    2
    
    
    
    
    
    
    
    
    
    
    
    
    】

• sklearn.pipeline.Pipeline(steps=

  [(‘scaler’,StandardScaler()),
  
  (‘lin_reg’, LinearRegression())]

  )

  • 流水线工作
  • steps：List of (name, transform) tuples

2.11 模型的保存和加载

学习目标

• 知道sklearn中模型的保存和加载

---

1 sklearn模型的保存和加载API

• from sklearn.externals import joblib
  • 保存：joblib.dump(model, path)
  • 加载：estimator = joblib.load(path)

2 线性回归的模型保存加载案例

from sklearn.datasets import load_boston
from sklearn.preprocessing import StandardScaler
from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.linear_model import Ridge
import joblib
def load_dump():
    """
    模型保存和加载
    :return:
    """
    # 1.获取数据
    data = load_boston()

    # 2.数据集划分
    x_train, x_test, y_train, y_test = train_test_split(data.data, data.target, random_state=22)

    # 3.特征工程-标准化
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.fit_transform(x_test)

    #4.机器学习-线性回归(岭回归)
    # 4.1 模型训练
    estimator = Ridge(alpha=1)
    estimator.fit(x_train, y_train)
    
    # 4.2 模型保存
    joblib.dump(estimator, "./data/test.pkl")

#     # 4.3 模型加载
#     estimator = joblib.load("./data/test.pkl")

    # 5.模型评估
    # 5.1 获取系数等值
    y_predict = estimator.predict(x_test)
    print("预测值为:\n", y_predict)
    print("模型中的系数为:\n", estimator.coef_)
    print("模型中的偏置为:\n", estimator.intercept_)

    # 5.2 评价
    # 均方误差
    error = mean_squared_error(y_test, y_predict)
    print("误差为:\n", error)
load_dump()

3 小结

• sklearn.externals import joblib【知道】
  • 保存：joblib.dump(estimator, ‘test.pkl’)
  • 加载：estimator = joblib.load(‘test.pkl’)
  • 注意：
    • 1.保存文件，后缀名是**.pkl
      
      2.加载模型是需要通过一个变量进行承接