学习目标
- 学习在金融分控领域常用的机器学习模型
- 学习机器学习模型的建模过程与调参流程
内容介绍
-
逻辑回归模型：
- 逻辑回归模型；
- 逻辑回归模型的应用；
- 逻辑回归的优缺点；
-
树模型：
- 树模型；
- 树模型的应用；
- 树模型的优缺点；
-
集成模型
-
基于bagging思想的集成模型
- 随机森林模型
-
基于boosting思想的集成模型
- XGBoost模型
- LightGBM模型
- CatBoost模型
-
基于bagging思想的集成模型
-
模型对比与性能评估：
- 回归模型/树模型/集成模型；
- 模型评估方法；
- 模型评价结果；
-
模型调参：
-
贪心调参方法；
-
网格调参方法；
-
贝叶斯调参方法；
-
模型相关原理介绍
逻辑回归模型
决策树模型
GBDT模型
XGBoost模型
LightGBM模型
时间序列模型
模型对比与性能评估
逻辑回归
-
优点
- 训练速度较快，分类的时候，计算量仅仅只和特征的数目相关；
- 简单易理解，模型的可解释性非常好，从特征的权重可以看到不同的特征对最后结果的影响；
- 适合二分类问题，不需要缩放输入特征；
- 内存资源占用小，只需要存储各个维度的特征值；
-
缺点
-
逻辑回归需要预先处理缺失值和异常值【可参考task3特征工程】；
-
不能用Logistic回归去解决非线性问题，因为Logistic的决策面是线性的；
-
对多重共线性数据较为敏感，且很难处理数据不平衡的问题；
-
准确率并不是很高，因为形式非常简单，很难去拟合数据的真实分布；
-
决策树模型
-
优点
- 简单直观，生成的决策树可以可视化展示
-
数据不需要预处理，不需要归一化，不需要处理缺失数据
- 既可以处理离散值，也可以处理连续值
-
缺点
- 决策树算法非常容易过拟合，导致泛化能力不强（可进行适当的剪枝）
- 采用的是贪心算法，容易得到局部最优解
集成模型集成方法（ensemble method）
通过组合多个学习器来完成学习任务，通过集成方法，可以将多个弱学习器组合成一个强分类器，因此集成学习的泛化能力一般比单一分类器要好。
集成方法主要包括Bagging和Boosting，Bagging和Boosting都是将已有的分类或回归算法通过一定方式组合起来，形成一个更加强大的分类。两种方法都是把若干个分类器整合为一个分类器的方法，只是整合的方式不一样，最终得到不一样的效果。常见的基于Baggin思想的集成模型有：随机森林、基于Boosting思想的集成模型有：Adaboost、GBDT、XgBoost、LightGBM等。
Baggin和Boosting的区别总结如下：
-
样本选择上：
Bagging方法的训练集是从原始集中有放回的选取，所以从原始集中选出的各轮训练集之间是独立的；而Boosting方法需要每一轮的训练集不变，只是训练集中每个样本在分类器中的权重发生变化。而权值是根据上一轮的分类结果进行调整 -
样例权重上：
Bagging方法使用均匀取样，所以每个样本的权重相等；而Boosting方法根据错误率不断调整样本的权值，错误率越大则权重越大 -
预测函数上：
Bagging方法中所有预测函数的权重相等；而Boosting方法中每个弱分类器都有相应的权重，对于分类误差小的分类器会有更大的权重
并行计算上：
Bagging方法中各个预测函数可以并行生成；而Boosting方法各个预测函数只能顺序生成，因为后一个模型参数需要前一轮模型的结果。
模型评估方法
对于数据集的划分，我们通常要保证满足以下两个条件：
- 训练集和测试集的分布要与样本真实分布一致，即训练集和测试集都要保证是从样本真实分布中独立同分布采样而得；
- 训练集和测试集要互斥
对于数据集的划分有三种方法：留出法，交叉验证法和自助法，下面挨个介绍：
-
①留出法
留出法是直接将数据集D划分为两个互斥的集合，其中一个集合作为训练集S，另一个作为测试集T。需要注意的是在划分的时候要尽可能保证数据分布的一致性，即避免因数据划分过程引入额外的偏差而对最终结果产生影响。为了保证数据分布的一致性，通常我们采用
分层采样
的方式来对数据进行采样。
Tips：
通常，会将数据集D中大约2/3~4/5的样本作为训练集，其余的作为测试集。 -
②交叉验证法
k折交叉验证
通常将数据集D分为k份，其中k-1份作为训练集，剩余的一份作为测试集，这样就可以获得k组训练/测试集，可以进行k次训练与测试，最终返回的是k个测试结果的均值。交叉验证中数据集的划分依然是依据
分层采样
的方式来进行。对于交叉验证法，其k值的选取往往决定了评估结果的稳定性和保真性，
通常k值选取10。
当k=1的时候，我们称之为
留一法
-
③自助法
我们每次从数据集D中取一个样本作为训练集中的元素，然后把该样本放回，重复该行为m次，这样我们就可以得到大小为m的训练集，在这里面有的样本重复出现，有的样本则没有出现过，我们把那些没有出现过的样本作为测试集。
进行这样采样的原因是因为在D中约有36.8%的数据没有在训练集中出现过。留出法与交叉验证法都是使用
分层采样
的方式进行数据采样与划分，而自助法则是使用
有放回重复采样
的方式进行数据采样
数据集划分总结
-
对于数据量充足的时候，通常采用
留出法
或者
k折交叉验证法
来进行训练/测试集的划分； -
对于数据集小且难以有效划分训练/测试集时使用
自助法
； -
对于数据集小且可有效划分的时候最好使用
留一法
来进行划分，因为这种方法最为准确
模型评价标准
AUC
模型调参
1. 贪心调参
先使用当前对模型影响最大的参数进行调优，达到当前参数下的模型最优化，再使用对模型影响次之的参数进行调优，如此下去，直到所有的参数调整完毕。
这个方法的缺点就是可能会调到局部最优而不是全局最优，但是只需要一步一步的进行参数最优化调试即可，容易理解。
需要注意的是在树模型中参数调整的顺序，也就是各个参数对模型的影响程度，这里列举一下日常调参过程中常用的参数和调参顺序：
- ①：max_depth、num_leaves
- ②：min_data_in_leaf、min_child_weight
- ③：bagging_fraction、 feature_fraction、bagging_freq
- ④：reg_lambda、reg_alpha
- ⑤：min_split_gain
2. 网格搜索
sklearn 提供GridSearchCV用于进行网格搜索，只需要把模型的参数输进去，就能给出最优化的结果和参数。相比起贪心调参，网格搜索的结果会更优，但是网格搜索只适合于小数据集，一旦数据的量级上去了，很难得出结果。
同样以Lightgbm算法为例，进行网格搜索调参：
3.贝叶斯调参
在使用之前需要先安装包bayesian-optimization，运行如下命令即可：
pip install bayesian-optimization
贝叶斯调参的主要思想是：给定优化的目标函数(广义的函数，只需指定输入和输出即可，无需知道内部结构以及数学性质)，通过不断地添加样本点来更新目标函数的后验分布(高斯过程,直到后验分布基本贴合于真实分布）。简单的说，就是考虑了上一次参数的信息，从而更好的调整当前的参数。
贝叶斯调参的步骤如下：
- 定义优化函数(rf_cv）
- 建立模型
- 定义待优化的参数
- 得到优化结果，并返回要优化的分数指标
模型参数已经确定，建立最终模型并对验证集进行验证
模型调参小总结
-
集成模型内置的cv函数可以较快的进行单一参数的调节，一般可以用来优先确定树模型的迭代次数
-
数据量较大的时候（例如本次项目的数据），网格搜索调参会特别特别慢，不建议尝试
-
集成模型中原生库和sklearn下的库部分参数不一致，需要注意，具体可以参考xgb和lgb的官方API