scikit-learn学习:岭回归,ridge regression

  • Post author:
  • Post category:其他


ridge regression与上一篇博客中的最小二乘法相似,只不过是后面加一个惩罚项,公式如下:


选择数据与上文相同,只不过换一个模型,运行结果如下:


(‘Coefficients: ‘, array([ 928.52207357]))

Residual sum of squares: 2559.32

Variance score: 0.47

代码:

# -*- coding: utf-8 -*-
'''
Created on 2017-2-15

@author: admin
'''
import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets, linear_model

#加载数据,并且将训练集和数据集进行分割。
diabetes = datasets.load_diabetes()
diabetes_X = diabetes.data[:, np.newaxis, 2]
diabetes_X_train = diabetes_X[:-20]
diabetes_X_test = diabetes_X[-20:]
diabetes_y_train = diabetes.target[:-20]
diabetes_y_test = diabetes.target[-20:]

# 创建训练模型
regr = linear_model.Ridge (alpha = 0.01)

# 通过训练数据训练模型
regr.fit(diabetes_X_train, diabetes_y_train)

#输出模型系数
print('Coefficients: ', regr.coef_)
# 输出错误差值平方均值
print("Residual sum of squares: %.2f"
      % np.mean((regr.predict(diabetes_X_test) - diabetes_y_test) ** 2))
# Explained variance score: 1 is perfect prediction
print('Variance score: %.2f' % regr.score(diabetes_X_test, diabetes_y_test))

# Plot outputs
plt.scatter(diabetes_X_test, diabetes_y_test,  color='black')
plt.plot(diabetes_X_test, regr.predict(diabetes_X_test), color='blue',
         linewidth=3)

plt.xticks(())
plt.yticks(())

plt.show()

其他属性参数值就不详细赘述了,大体相同,如果有需要可以去官网查阅官方文档:


http://scikit-learn.org/0.17/modules/generated/sklearn.linear_model.Ridge.html#sklearn.linear_model.Ridge

比较通用的参数就是不断的调整alpha值以便得到更好的结果。

由于此算法用法相对简单,不做过多的介绍了。

如有发现错误处欢迎指正。


本博客为博主辛苦总结,如有转载,请附原地址链接:


http://blog.csdn.net/u014662865/article/details/55194199



版权声明:本文为u014662865原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。