文末有赠书福利!!!
数据归约是在保证数据信息量的基础上，尽可能精简数据量。筛选和降维是数据归约的重要手段，尤其在数据量大且维度高的情况下，可以有效地节约存储空间和计算时间。反之，当数据量不多，或者现有存储和计算资源能满足分析和预测时不一定需要降维，因为任何的归约都会造成数据损失。
除了减少数据量，特征筛选的另一个好处是去掉干扰特征，有时候加入了新特征后，在训练集上的准确率提高了，而在测试集上的准确率却降低了，这种情况在小数据集中最为常见，主要由于无效特征的干扰使模型对训练集过拟合，反而使模型效果变差。可见，特征并不是越多越好。总之，降维不是数据预处理的必经过程，是否降维主要取决于数据量，以及降维后对预测效果的影响。本文章主要介绍数据归约的四种途径。
经验筛选特征
根据经验筛选特征是利用行业专家的经验筛选有效特征，去掉无关特征，或者在更早期数据采集阶段在特征重要性和广度之间取舍。
有一次笔者在处理医疗检验结果时，获取了五种检验单，共七十多个指标，而进一步的数据分析需要人工整理历史数据，指标太多使工作量倍增。于是通过前期提取数据训练GBDT模型，选取了模型输出的特征贡献度最高的前20个特征，再代入模型训练，但训练后效果变差很多。之后与医生讨论该问题时，医生从中筛选了不到10个重要特征，训练之后，效果只略有下降，最终使用了医生的经验特征方案。
在特征较多的情况下，很多时候无效特征或者相关特征干扰了模型，如果使用一些专家经验，能节约大量的算力和时间成本，特征选择是人类经验和算法结合的重点之一。
该方法的效果主要取决于开发人员和专业人士对业务的理解程度。
统计学方法筛选特征
利用统计学方法筛选特征包括：去除缺失数据较多的特征，去除取值无差异的特征，以及通过数据分析，保留与目标变量相关性强的连续特征，有统计显著性的分类特征。
筛选特征时使用最多的统计方法是假设检验，其核心思想是对比每个自变量x的不同取值时因变量y的差异。对于自变量和因变量同为连继性特征的情况，一般分析其是否为线性相关，即具有同增同减的性质，该方法也用于去掉相关性强的自变量，若两个自变量功能相似，则去掉其中一个。
对于自变量或者因变量是离散值的情况，可用离散值分类，统计每一类别的数据是否具有统计性差异，例如：当自变量为性别、因变量为身高时，可对比男性身高与女性身高的差异，对比其均值是最简单的方法，还需要考虑不同类别实例个数的差异，以及不同类别的分布差异，是否为高斯分布，方差等等，具体方法将在第七章数据分析中详细介绍。
统计分析可通过Python三方库提供的方法实现，比较简单快捷，可以一次性处理多个特征。但也有一些问题，例如在相关性分析中不能识别非线性相关，有可能去掉有意义的特征。
模型筛选特征
大多数模型在训练之后都会反馈特征优先级feature_importance，可以通过保留其重要性最高的前N个特征，去掉其它特征的方法进行数据筛选，但由于算法不同，模型计算出的特征重要性也不尽相同，筛选之后需要再代入模型，在保证去掉的特征不影响预测效果的提下做筛选。当数据量较大时，可以先选择一部分数据代入模型，进行特征选择。
另一种利用模型筛选特征的方法是随机选取特征或者随机去除特征，不断尝试，以近乎穷举的方式做特征筛选，该方法一般用于小数据集，且算力足够的情况下。
本例使用了Sklearn自带的鸢尾花数据集，代入决策树模型，训练数据之后，通过模型中的feature_importance_查看各个特征对应权重。
01 from sklearn.datasetsimport load_iris
02 from sklearn import tree
03
04 iris = load_iris()
05 clf =tree.DecisionTreeClassifier()
06 clf = clf.fit(iris.data,iris.target)
07 print(clf.feature_importances_)
08
09 # 运行结果
10 # [0.02666667 0. 0.05072262 0.92261071]
从运行结果可以看出，第四维特征重要性最高，第二维特征对预测因变量iris.target的重要性为0。
数学方法降维
使用PCA和SVD等数学方法也是降维的常用手段，它的主要思想是将相关性强的多个特征合成一个特征，在损失信息较少的情况下，有效减少了维度，主要用于降低数据量。使用该方法的问题在于，转换后的特征与原特征意义不同，损失了原特征的业务含义。
本例中使用Sklearn自带的PCA工具实现PCA降维，数据为Sklearn自带的鸢尾花数据集，利用Matplotlib和Seaborn工具绘图。
01 fromsklearn.decomposition import PCA
02 from sklearn importdatasets
03 import pandas as pd
04 import numpy as np
05 import matplotlib.pyplotas plt
06 import seaborn as sns
07 %matplotlib inline # 仅在 jupyter notebook 中使用
鸢尾花数据集包含四维自变量，使用DataFrame的corr函数生成特征间的皮尔森相关系数矩阵，然后使用Seaborn对该矩阵做热力图。
01 iris =datasets.load_iris()
02 data =pd.DataFrame(iris.data, columns=['SpealLen', 'SpealWid',
03 'PetalLen','PetalWid'])
04 mat = data.corr()
05 sns.heatmap(mat,annot=True, vmax=1, vmin=-1, xticklabels= True,
06 yticklabels= True, square=True,cmap="gray")
热力图结果如图1所示。
图1 鸢尾花特征相关系数热力图
相关系数取值范围在[-1,1]之间，趋近于1为正相关，趋近-1为负相关，趋近零为非线性相关，可以看出其中除了Speal Width以外，其它三个特征均呈现较强的正相关，因此，将四维变量降成二维。
01 pca = PCA(n_components=2)
02 data1 =pca.fit_transform(data)
03 print(data1.shape)
04 print(pca.explained_variance_ratio_，
05 pca.explained_variance_ratio_.sum())
06 plt.scatter(data1[:,0],data1[:,1], c = np.array(iris.target),
07 cmap=plt.cm.copper)
通过PCA方法降维后，从data1.shape可以看到原来150记录，4特征数据转换成为150记录，2特征，explained_variance_ratio_显示降维后各维成份的方差值占总方差值的比例，该占比越大，该成份越重要，explained_variance_ratio_.sum累加了降维后所有成份之和，它越趋近1，说明降维带来的数据损失越小。用两维数据作图，颜色标出其分类，可以看到降维后的数据对因变量iris.target成功分类，如图2所示。
图2 降维后的两维数据对因变量分类
当数据维度很多，不能确定降成多少维度合适时，可将n_components的值设置为0-1之间，程序将自动选择维度，使得降维后各成份的explained_variance_ratio_之和不低于该比例。将n_component设置为1以上的值，则是设定转换后的维度。
本文选自电子工业出版社出版的《python大数据与机器学习》一书，略有改动。经出版社授权刊登于此。
赠书福利
点亮在看按钮！
1.在留言区留言，说出关于“机器学习”的相关话题（30字以上），选择走心的留言送给幸运读者~
2.抽4名粉丝可以各获得一本书哦~
3.活动时间结束我会第一时间联系中奖用户，书是出版社大大统一寄出，包邮！包邮！包邮！