机器学习
数据挖掘、CV、NLP、语音识别、统计学习、模式识别
套路：1.数据收集处理；2.特征选择与模型构建；3.评估与预测
站点：kaggle github
python库
科学计算库numpy
pandas
线性回归
例子：工资x1、年龄x2、贷款额度y关系关系:；
预测一个值，这个值有区间。工资和年龄是特征；贷款额度是目标或者标签；
拟合一个面分割的过程；y= a+b*x1+c*x2;a偏置参数对结果影响小；bc权重参数，对结果影响大。
真实值y与预测值y’的误差
；一万个样本一万个
，这些误差满足：独立同分布，均值0方差为~的高斯分析。
独立即两个贷款人样本不相关。
同分布即都来同一个银行贷款。
高斯分布即贷款浮动满足正太分布，浮动不会大。
似然函数：乘积，用来根据样本数据估计参数值。
最大似然估计：似然函数越大越好—-预测值成为真实值的可能性。
目标函数求偏导数=0，求极小值。
凸优化–凸函数
X即工资和年龄，Y是贷款额。
评估方法：R方
梯度下降策略
就是找山谷最低点，即目标函数的极值点。什么样的参数能使目标函数达到极值点。
按照一定方向、步伐更新参数。
批量梯度下降：速度慢。
随机梯度下降：不定收敛。
小批量梯度下降：常用。学习率，步长，小一点。批处理数量，32，64，128等。考虑内存和效率。
逻辑回归算法
做的是二分类任务。
机器学习算法一般先用逻辑回归简单算法，不行再复杂点的算法。
非线性即高阶函数。逻辑回归可以处理非线性问题。
例子：预测大学生是否被录取，大量申请人的历史数据作训练集。
损失函数就是上边的对数似然函数去负号再求平均。
求梯度；
定义停止策略；1.迭代次数；2.损失变化；3.根据梯度；
数据洗牌，提高泛化能力；np.random.shuffle(data)
实验对比过程：
1.调节停止策略；迭代次数；损失；梯度；
2.调节学习率；
3.使用mini-batch替代批量梯度下降；
4.数据标准化；
评估指标：精度；
案例：交易数据异常检测
1.背景
pandas读取csv数据；
第一行是已经提取好的特征；
0是正常；1是异常；本质是个分类任务；故使用使用逻辑回归二分类。
2.数据处理
正负样本比例统计-》样本不均衡的解决方法-》下采样与过采样方案；
sklearn库-》预处理模块，数据处理fit_transform()得到新的特征；
drop无用的特征；
正常的数据下采样到异常一样的数据；index;
交叉验证：
80%训练集-20%测试集，数据切分；80%的训练集又分出验证机集-》交叉验证求平均。
klearn.cross_validation
模型评估：
recall召回率；
TP：true positive,预测对了，预测成了正样本；
FP，false positive;错误判断成正样本；存伪；
FN，false negative;错误判断成了负样本；
TN,true negative;预测对了，预测成了负样本；
recall = TP/(TP+FN)
混淆矩阵：
实际兼顾精度与召回；
正则化惩罚项：
loss后边加上L1/L2正则项；惩罚力度有个因子；
SMOTE数据上采样生成：
1.找出少数种类，计算欧氏距离得到k近邻排序；
2.采样倍率；
3.生成新数据；
决策树算法
分类树和回归树都可以。
从根节点到叶子节点，来决策，完成分类或者回归。
根节点是最重要的因素；
非叶子节点：中间过程；
叶子节点：决策结果；
增加一个节点相当于数据切一刀分开；
训练：构造决策树-》选择节点-》衡量标准-》熵值；
测试：数据走一遍即可；
熵值：随机变量的不确定性；混乱程度；熵值越高，越乱，越不稳定；
信息增益
：表示特征X使得类别Y的熵值减小（不确定性减小）的程度。
即分类后，类内同类的多，即熵值小；
信息增益率：考虑自身熵值；
GINI系数：
越小则越 接近1，越确定，熵值越小；
决策树剪枝：防止过拟合；
预剪枝：边建立边剪枝；限制树深度，叶子节点个数，叶子节点样本数，信息增益等。
后剪枝：建立完再剪枝；一定的衡量标准来判定；
sklearn决策树参数：
内置数据集：
可视化graphviz包：
sklearn构建：
切分训练集与测试集；
参数选择：gridSearchCV模块；
集成算法
ensemble learning
bagging集成模型
并行训练多个分类器取平均；
随机森林：多个决策树并行放在一起；数据采样随机；特征选择随机；->提高泛化能力；
树模型个数并不是越多越好；达到一定量就不提高了；
特征重要性衡量：特征破坏看误差；作用：特征筛选；
boosting提升模型
adaboost: 根据前一次的分类效果调整数据权重；前边训练错了，后边权重则增加；
xgboost:后边；
stacking堆叠模型
聚合多个分类或回归模型；如KNN，SVM， RF；
第一阶段得出各自结果；第二阶段再用前一阶段的结果训练；
准确率提升，速度慢；
案例实战：泰坦尼克获救预测
船员数据分析：label;特征：性别，年龄，名字，老人和孩子数量，票编号，票价，站点；
数据预处理：
pandas读取csv;
缺失值处理：去掉列 or 缺失值填充：均值；
male与female替换成0和1;
构建算法模型：
线性回归：sklearn，交叉验证分割数据集；
逻辑回归：sklearn;
随机森林分类也可以：调参，树的个数；特征工程，加特征，造特征；
随机森林特征重要性分析：
贝叶斯算法
逆概问题；正向概率，逆向概率；
贝叶斯公式：
拼写纠正实例：
垃圾邮件过滤实例：
朴素贝叶斯问题假设特征之间独立，互不影响；
拼写检查器实例：
文本数据分析：新闻分类任务
停用词表；stop words;
Tf-idf:关键词提取；Term Frequency (TF)词频统计；
idf: 逆文档频率；