博客

特征选择是特征工程中的一个子集，从所有的特征中，选择有意义的，对模型有帮助的特征，以避免将所有特征中对模型没作用的特征导入模型去训练，消耗不必要的计算资源。更正式地说，给定n个特征，我们搜索其中包括k(k<n)个特征的子集来改善模型的性能。

特征选择之前一定要理解数据中特征的含义，可以先从业务上就能剔除一些不必要的特征，然后再进行技术上的特征选择。

特征选择方法有很多，接下来主要介绍以下几种特征选择方法：

一、Filter过滤法

1、方差过滤：

通过数据本身的方差来筛选特征。比如有一个特征本身的方差很小，就表示样本在这个特征上基本没有差异，可能特征中的大多数值都一样，甚至整个特征的取值都相同，那这个特征对于样本区分是没有作用的。因此，首先需要去除样本中方差为0的特征。

在sklearn.feature_selection模块中的VarianceThreshold类是用来做方差特征选择的。其中的threshold参数是控制过滤方差的阈值，默认是0。我们可以控制这个参数来选择要去掉方差是多少的特征。

from sklearn.feature_selection 
import VarianceThreshold
selector = VarianceThreshold()
X_var = selector.fit_transform(X)

threshold阈值设置对模型训练的影响

案例：

# 选用集成算法随机森林和邻近算法KNN分别在方差过滤前和方差过滤后运行效果和运行时间的对比
from sklearn.ensemble import RandomForestClassifier as RFC
from sklearn.neighbors import KNeighborsClassifier as KNN
from sklearn.model_selection import cross_val_score
from sklearn.feature_selection import VarianceThreshold
import numpy as np

X = data.iloc[:, 1:]
y = data.iloc[:,0]
# 进行方差过滤时阈值设置为中位数
X_var = VarianceThreshold(np.median(X.var().values)).fit_transform(X)
# KNN方差过滤之前的训练
cross_val_score(KNN(),X,y,cv=5).mean() # 运行时间比较长
# KNN方差过滤之后的训练
cross_val_score(KNN(),X_var,y,cv=5).mean() # 运行时间比较长
"""
对于KNN，过滤后的运行效果：准确率提升了一点点，训练时间减少很多。
"""
# 随机森林方差过滤之前的训练
cross_val_score(RFC(n_estimators=10,random_state=0),X,y,cv=5).mean()
# 随机森林方差过滤之后的训练
cross_val_score(RFC(n_estimators=10,random_state=0),X_var,y,cv=5).mean()
"""
对于随机森林，过滤后的运行效果：准确率提升了一点点，训练时间差不多。因为随机森林训练速度本身就非常快。
"""

案例中使用的方差阈值是特征方差的中位数，阈值设置的比较大，属于过滤掉的特征比较多的情况。从运行结果来看，无论是KNN还是随机森林，在过滤掉一半特征之后，模型的精确度都有所上升。这说明被过滤掉的特征在当前随机模式(random_state = 0)下大部分是噪音。

那么可以保留这个去掉了一半特征的数据，来为之后的特征选择做准备

。如果过滤之后模型的效果反而变差了，则可以认为被我们过滤掉的特征中有很多有效特征，因此需要放弃过滤，使用其他手段来进行特征选择。

为什么随机森林运行如此之快? 为什么方差过滤对随机森林没很大的有影响?


这是由于两种算法的原理中涉及到的计算量不同。最近邻算法KNN，单棵决策树，支持向量机SVM，神经网络，回归算法，都需要遍历特征或升维来进行运算，所以他们本身的运算量就很大，需要的时间就很长，因此方差过滤这样的特征选择对他们来说就尤为重要。但对于不需要遍历特征的算法，比如随机森林，它随机选取特征进行分枝，本身运算就非常快速，因此特征选 择对它来说效果平平。这其实很容易理解，无论过滤法如何降低特征的数量，随机森林也只会选取固定数量的特征 来建模;而最近邻算法就不同了，特征越少，距离计算的维度就越少，模型明显会随着特征的减少变得轻量。因此，

过滤法的主要对象是:需要遍历特征或升维的算法们，而过滤法的主要目的是:在维持算法表现的前提下，帮 助算法们降低计算成本

。

为什么过滤法对随机森林无效，却对树模型有效?


从算法原理上来说，传统决策树需要遍历所有特征，计算不纯度后进行分枝，而随机森林却是随机选择特征进 行计算和分枝，因此随机森林的运算更快，过滤法对随机森林无用，对决策树却有用。

在sklearn中，决策树和随机森林都是随机选择特征进行分枝(不记得的小伙伴可以去复习第一章:决策树， 参数random_state)，但决策树在建模过程中随机抽取的特征数目却远远超过随机森林当中每棵树随机抽取 的特征数目(比如说对于这个780维的数据，随机森林每棵树只会抽取10~20个特征，而决策树可能会抽取 300~400个特征)，因此，过滤法对随机森林无用，却对决策树有用。

也因此，在sklearn中，随机森林中的每棵树都比单独的一棵决策树简单得多，高维数据下的随机森林的计算 比决策树快很多。

2、 相关性过滤

相关性主要是评判特征之间以及特征和标签之间的相关性，去除特征之间的相关性主要是因为诸如线性回归之类的模型训练时特征之间相关产生共线性的问题而影响模型效果。去除与标签不相关的特征主要是因为如果特征与标签无关，那只会白白浪费我们的计算内存，可能还会给模型带来噪声。

在sklearn中，常用评判特征与标签之间相关性的方法有：卡方、F检验、互信息。常用评判特征之间的相关性的方法有pearson相关系数。

卡方过滤


卡方过滤是专门针对离散型标签(即分类问题)的相关性过滤。在sklearn.feature_selection.chi2计算每个非负特征和标签之间的卡方统计量，并依照卡方统计量由高到低为特征排名。然后，再结合sklearn.feature_selection.SelectBest这个可以输入“评分标准”的类来选出前K个分数最高的特征，即去除最可能独立于标签，与分类目的无关的特征。


当卡方检验检测到某个特征中所有的值都相同，会提示我们使用方差先进行方差过滤。所以在做卡方相关性过滤之前要选使用方差过滤筛选一遍。

from sklearn.feature_selection import SelectKBest
from sklearn.feature_selection import chi2
from sklearn.model_selection import cross_val_score
# X_var是方差过滤掉特征之后的特征矩阵 
X_chi = SelectKBest(chi2, k=300).fit_transform(X_var, y)
cross_val_score(RFC(n_estimators=100, random_state=0), X_chi, y, cv=5).mean()

结果显示模型效果降低了，这说明我们在设定k=300的时候删除了与模型相关且有效的特征，我们的K值设置得太小，要么我们需要调整K值，要么我们必须放弃相关性过滤。当然，如果模型的表现提升，则说明我们的相关性过滤是有效的，是过滤掉了模型的噪音的，这时候我们就保留相关性过滤的结果。

参数k的设置可以使用学习曲线进行选择：

import matplotlib.pyplot as plt
score = []
for i in range(390, 200, -10):
	X_chi = SelectKBest(chi2, k=i).fit_transform(X_var, y)
	once = cross_val_score(RFC(n_estimators=100,random_state=0), X_chi, y, cv=5).mean()
	score.append(once)
plt.plot(range(390, 200, -10), score)
plt.show()

代码运行结果：



由图可知，随着k值的不断增加，模型的表现不断上升，这说明，k越大越好，数据中所有的特征都与标签相关，但是这种选择k值的代码运行时间非常长。下面一种更好的设置k值的方法：根据p值来选择k

卡方检验的本质是推测两组数据之间的差异，其检验的原假设是”两组数据是相互独立的”。卡方检验返回卡方值和 P值两个统计量，其中卡方值很难界定有效的范围，而p值，我们一般使用0.01或0.05作为显著性水平，即p值判断 的边界，具体我们可以这样来看:

从特征工程的角度，我们希望选取卡方值很大，p值小于0.05的特征，即和标签是相关联的特征。而调用 SelectKBest之前，我们可以直接从chi2实例化后的模型中获得各个特征所对应的卡方值和P值。

chivalue, pvalues_chi = chi2(X_fsvar,y)
chivalue
pvalues_chi
# k取多少?我们想要消除所有p值大于设定值，比如0.05或0.01的特征:
k = chivalue.shape[0] - (pvalues_chi > 0.05).sum()
# X_fschi = SelectKBest(chi2, k=填写具体的k).fit_transform(X_fsvar, y) # cross_val_score(RFC(n_estimators=10,random_state=0),X_fschi,y,cv=5).mean()

从结果看，所有特征的p值都是0，说明digit_recognizor这个数据集，方差验证已经把所有和标签无关的特征都剔除了，或者这个数据集本身就不含与标签无关的特征。因此，舍弃任何一个特征，都会舍弃对模型有用的信息，而使模型表现下降，因此在我们对计算速度感到满意时，我们不需要使用相关性过滤来过滤我 们的数据。如果我们认为运算速度太缓慢，那我们可以酌情删除一些特征，但前提是，必须牺牲模型的表现。

F检验


F检验，又称方差齐性检验，是用来捕捉每个特征与标签之间的线性关系的过滤方法。它即可以做回归也可以做分类，因此sklearn.feature_selection中包含f_classif(F检验分类)和f_regression(F检验回归)两个类。其中F检验分类用于标签是离散型变量的数据，而F检验回归用于标签是连续型变量的数据。

这两个类也需要和类SelectKBest连用，并且我们也可以直接通过输出的统计量来设置最佳K值。需要注意的是，F检验在数据服从正态分布时效果会非常稳定，因此如果使用F检验过滤，需要先将数据转换成服从正态分布。

F检验的本质是寻找两组数据之间的线性关系，其原假设是”数据不存在显著的线性关系“。它返回F值和p值两个统 计量。和卡方过滤一样，我们希望选取p值小于0.05或0.01的特征，这些特征与标签时显著线性相关的，而p值大于 0.05或0.01的特征则被我们认为是和标签没有显著线性关系的特征，应该被删除。以F检验的分类为例做特征选择：

from sklearn.feature_selection import f_classif
F, p_val = f_classif(X_var, y)
k = F.shape[0] - (p_val > 0.05).sum()

# X_F = SelectKBest(f_classif, k=填写具体的k值).fit_transform(X_var, y) 
# cross_val_score(RFC(n_estimators=10,random_state=0),X_F,y,cv=5).mean()

结果和卡方过滤得到的结果一模一样，没有任何特征的p值大于0.01， 所有的特征都是和标签相关的，因此不需要相关性过滤

互信息过滤


互信息是用来捕捉每个特征与标签之间的任意关系(包括线性和非线性关系)的过滤方法。和F检验相似，它既可以做回归也可以做分类，在sklearn.feature_selection中也包含mutual_info_classif(互信息分类)和 mutual_info_regression(互信息回归)两个类。用法和参数都与F检验一模一样，不过互信息比F检验更加强大，F检验只能够找出线性关系，而互信息可以找出任意关系。

互信息不返回p值或F值类似的统计量，它返回“每个特征与目标之间的互信息量的估计”，这个估计量在[0,1]之间，为0则表示两个变量独立，为1则表示两个变量完全相关。以互信息分类为例的代码如下:

from sklearn.feature_selection import mutual_info_classif as MIC
result = MIC(X_var, y)
k = result.shape[0] - sum(result <= 0)

# X_mic = SelectKBest(MIC, k=填写具体的k值).fit_transform(X_var, y)
# cross_val_score(RFC(n_estimators=10, random_state=0), X_mic, y, cv=5).mean()

所有特征的互信息量估计都大于0，说明所有特征都与标签相关。

无论是F检验还是互信息法，大家也都可以使用学习曲线，只是使用统计量的方法会更加高效。当统计量判断已经没有特征可以删除时，无论用学习曲线如何跑，删除特征都只会降低模型的表现。而如果数据量太庞大，模型太复杂，还是可以牺牲模型表现来提升模型速度。

一般情况下先使用方差过滤，然后使用互信息来捕捉相关性，下面是各个类的总结：

二、Embedded嵌入法

嵌入法是一种让算法自己决定使用那些特征的方法，即特征选择和算法训练同时进行。在使用嵌入法时，我们先使用某些机器学习的算法和模型进行训练，得到各个特征的权值系数，根据权值系数从大到小选择特征。这些权值系 数往往代表了特征对于模型的某种贡献或某种重要性，比如决策树和树的集成模型中的feature_importances_属 性，可以列出各个特征对树的建立的贡献，我们就可以基于这种贡献的评估，找出对模型建立最有用的特征。因此 相比于过滤法，

嵌入法的结果会更加精确到模型的效用本身，对于提高模型效力有更好的效果

。并且，由于考虑特征对模型的贡献，因此无关的特征(需要相关性过滤的特征)和无区分度的特征(需要方差过滤的特征)都会因为缺乏对模型的贡献而被删除掉，可谓是过滤法的进化版。

嵌入法整个流程为：



过滤法中使用的统计量可以使用统计知识和常识来查找范围(如p值应当低于显著性水平0.05)，而嵌入法中使用的权值系数却没有这样的范围可找——我们可以说，权值系数为0的特征对模型丝毫没有作用，但当大量特征都对模型有贡献且贡献不一时，我们就很难去界定一个有效的临界值。这种情况下，模型权值系数就是我们的超参数， 我们或许需要学习曲线，或者根据模型本身的某些性质去判断这个超参数的最佳值究竟应该是多少。

另外，嵌入法引入了算法来挑选特征，因此其计算速度也会和应用的算法有很大的关系。如果采用计算量很大，计 算缓慢的算法，嵌入法本身也会非常耗时耗力。并且，在选择完毕之后，我们还是需要自己来评估模型。

在sklearn.feature_selection模块中SelectFromModel类嵌入法

class sklearn.feature_selection.SelectFromModel(estimator, 
												threshold=None, 
												prefit=False, 
												norm_order=1, 
												max_features=None)

类的参数说明具体如下表，并且一般重点关注前两个参数的设置

SelectFromModel是一个元变换器，可以与任何在拟合后具有coef_，feature_importances_属性或参数中可选惩 罚项的评估器一起使用(比如随机森林和树模型就具有属性feature_importances_，逻辑回归就带有l1和l2惩罚 项，线性支持向量机也支持l2惩罚项)。

对于有feature_importances_的模型来说，若重要性低于提供的阈值参数，则认为这些特征不重要并被移除。 feature_importances_的取值范围是[0,1]，如果设置阈值很小，比如0.001，就可以删除那些对标签预测完全没贡 献的特征。如果设置得很接近1，可能只有一两个特征能够被留下。

使用惩罚项的模型的嵌入法


对于使用惩罚项的模型来说，正则化惩罚项越大，特征在模型中对应的系数就会越小。当正则化惩罚项大到 一定的程度的时候，部分特征系数会变成0，当正则化惩罚项继续增大到一定程度时，所有的特征系数都会趋 于0。 但是我们会发现一部分特征系数会更容易先变成0，这部分系数就是可以筛掉的。也就是说，我们选择 特征系数较大的特征。另外，支持向量机和逻辑回归使用参数C来控制返回的特征矩阵的稀疏性，参数C越小，返回的特征越少。Lasso回归，用alpha参数来控制返回的特征矩阵，alpha的值越大，返回的特征越少。

from sklearn.feature_selection import SelectFromModel
from sklearn.ensemble import RandomForestClassifier as RFC
rfc = RFC(n_estimators=10, random_state=0)
X_embedded = SelectFromModel(rfc, threshold=0.005).fit_transform(X,y)
"""
这里只取出来有限的特征。0.005这个阈值对于有780个特征的数据来说，是非常高的阈值，
因为平均每个特征只能够分到大约0.001的feature_importances_
"""
#同样的，我们也可以画学习曲线来找最佳阈值
import numpy as np
import matplotlib.pyplot as plt
rfc.fit(X,y).feature_importances_
threshold = np.linspace(0,(rfc.fit(X,y).feature_importances_).max(),20)
score = []
for i in threshold:
	X_embedded = SelectFromModel(rfc,threshold=i).fit_transform(X,y) 
	once = cross_val_score(rfc,X_embedded,y,cv=5).mean() 
	score.append(once)
plt.plot(threshold,score) 
plt.show()

"""
代码运行结果：随着阈值越来越高，模型的效果逐渐变差，被删除的特征越来越多，信息损失的就越多，
我们可以选择一个模型效果维持比较高的最大的阈值threshold来进一步画学习曲线。
"""
score2 = []
for i in np.linspace(0, threshold,20):
	X_embedded = SelectFromModel(rfc, threshold=i).fit_transform(X, y)
	once = cross_val_score(rfc, X_embedded, y, cv=5).mean()
	score2.append(once)
plt.figure(figsize=(20,5))
plt.plot(np.linspace(0, threshold,20), score2)
plt.xtickets(np.linspace(0, threshold,20))
plt.show()

在嵌入法下，我们很容易就能够实现特征选择的目标:减少计算量，提升模型表现。因此，比起要思考很多统计量的过滤法来说，嵌入法可能是更有效的一种方法。然而，在算法本身很复杂的时候，过滤法的计算远远比嵌入法要 快，所以大型数据中，我们还是会优先考虑过滤法。

三、Wrapper包装法

包装法也是一个特征选择和算法训练同时进行的方法，与嵌入法十分相似，它也是依赖于算法自身的选择，比如 coef_属性或feature_importances_属性来完成特征选择。但不同的是，我们往往使用一个目标函数作为黑盒来帮 助我们选取特征，而不是自己输入某个评估指标或统计量的阈值。包装法在初始特征集上训练评估器，并且通过 coef_属性或通过feature_importances_属性获得每个特征的重要性。然后，从当前的一组特征中修剪最不重要的 特征。在修剪的集合上递归地重复该过程，直到最终到达所需数量的要选择的特征。区别于过滤法和嵌入法的一次 训练解决所有问题，包装法要使用特征子集进行多次训练，因此它所需要的计算成本是最高的。




注意：在这个图中的“算法”，指的不是我们最终用来导入数据的分类或回归算法(即不是随机森林)，而是专业的数据挖掘算法，即我们的目标函数。这些数据挖掘算法的核心功能就是选取最佳特征子集。

最典型的目标函数是递归特征消除法(Recursive feature elimination, 简写为RFE)。它是一种贪婪的优化算法， 旨在找到性能最佳的特征子集。 它反复创建模型，并在每次迭代时保留最佳特征或剔除最差特征，下一次迭代时， 它会使用上一次建模中没有被选中的特征来构建下一个模型，直到所有特征都耗尽为止。 然后，它根据自己保留或剔除特征的顺序来对特征进行排名，最终选出一个最佳子集。包装法的效果是所有特征选择方法中最利于提升模型表现的，它可以使用很少的特征达到很优秀的效果。除此之外，在特征数目相同时，包装法和嵌入法的效果能够匹敌，不过它比嵌入法算得更见缓慢，所以也不适用于太大型的数据。相比之下，

包装法是最能保证模型效果的特征选择方法。


在sklearn.feature_selection模块中有RFE的实现

class sklearn.feature_selection.RFE(estimator, n_features_to_select=None, step=1, verbose=0)

参数：

重要属性：

from sklearn.feature_selection import RFE
from sklearn.ensemble import RandomForestClassifier as RFC
rfc = RFC(n_estimators =10,random_state=0)
selector = RFE(rfc, n_features_to_select=340, step=50).fit(X, y)
selector.support_.sum()
selector.ranking_
X_wrapper = selector.transform(X) 
cross_val_score(rfc,X_wrapper,y,cv=5).mean()

# 画学习曲线
score = []
select_list = range(1,751,50)
for i in select_list:
	X_wrapper = RFE(rfc,n_features_to_select=i, step=50).fit_transform(X,y) 
	once = cross_val_score(rfc,X_wrapper,y,cv=5).mean()
	score.append(once)
plt.figure(figsize=[20,5])
plt.plot(select_list,score) 
plt.xticks(select_list) 
plt.show()

四、总结

以上只是介绍特征选择方法一部分，每种方法的原理都不同，并且都涉及到不同调整方法的超参数。一般来说，过滤法更快速，但更粗糙。包装法和嵌入法更精确，比较适合具体到算法去调整，但计算量比较大，运行时间长。当数据量很大的时候，优先使用方差过滤和互信息法调整，再上其他特征选择方法。使用逻辑回归时，优先使用嵌入法。使用支持向量机时，优先使用包装法。迷茫的时候，从过滤法走起，看具体数据具体分析。

特征选择只是特征工程中的一小步。更高级的方法往往是使用特征创造或特征提取来寻找高级特征。在Kaggle之 类的算法竞赛中，很多高分团队都是在高级特征上做文章，而这是比调参和特征选择更难的。特征工程非常深奥，需要在工作学习中不断积累。