1.回归
线性回归(Linear回归)
Logistic回归(逻辑回归)【二分类算法，但本质上是属于回归】
多项式回归
Ridge回归(岭回归)
LASSO回归
Elastic Net回归(弹性网络回归)
最小角回归
2.决策树
ID3算法
C4.5算法
CART算法
3.支持向量机
SVM
SVR，SVC (支持向量回归、支持向量分类)
SMO
4.集成学习
Bagging
-》随机森林（Random Forest）
Boosting
-》AdaBoost（自适应增强）
-》GBDT（梯度提升决策树）
-》XgBoost（极限梯度提升）
-》LightGBM
-》CatBoost
Stacking
Blending
5.神经网络
ANN 人工神经网络
-》基于BP算法的人工神经网络
-》DNN 深度神经网络
CNN 卷积神经网络
-》ImageNet（2010-图像分类比赛项目）
-》AlexNet（2012）
-》LeNet（2013）
-》VGG（2014）
-》GoogLeNet（2014）
-》InceptionNet（2014）
-》ResNet（2015）
-》FCN（2015）
-》SSD（2015）
-》Yolo（2015）
-》DenseNet（2016）
-》Faster R-CNN（2016）
-》YOLOv2（2016）
-》Inception-v4（2016）
-》YOLOv3（2017）
-》Mask RCNN（2018）
-》Mask Scoring R-CNN（2019）
RNN 递归/循环神经网络
-》LSTM 长短期记忆网络
-》GRU 门控循环单元
-》BiLSTM 双向RNN
GAN 对抗生成网络
-》DCGAN
-》WGAN
-》WGAN-GP
-》LSGAN-BEGAN
DBN 深度信念网络
-》RBM 受限玻尔兹曼机
-》DBM 深度受限玻尔兹曼机
-》SAE 稀疏自动编码器
-》DBN 深度信念网络
序列生成系列
-》Seq2seq
-》Transfromer
-》Bert
模型压缩系列
压缩网络：MobileNet、SqueezeNet、ShuffleNet、Xception
知识蒸馏：Teacher-Student Net、Knowledge Distillation
神经网络剪枝：Fisher算法、Alpha-Beta 算法
6.聚类
K-Means K-均值
DBscan 密度聚类
EM算法（混合高斯模型 GMM）
Hierarchical 层次聚类
MeanShift 均值漂移
FCM 模糊C均值聚类
SOM 自组织神经网络
7.关联分析
Apriori算法
FP-growth算法
8.降维&稀疏
kNN K-近邻算法
LDA 线性判别分析
PCA 主成分分析
矩阵分解系列：
SVD 奇异值分解，QR分解，LU分解，LDLT分解
ICA 独立分量分析
PLSR 偏最小二乘回归
Sammon 映射
ISOMAP 等距特征映射
MDS 多维尺度变换
Projection Pursuit 投影寻踪
LLE 局部线性嵌入
SNE、t-SNE
*16.表示学习
词嵌入、图嵌入（知识图谱）：
Trans系列：
TransE、TransH、TransR、TransD、TransA、TransG
Word Embedding系列：
One-hot、Word2vec、glove、Elmo、GPT、Bert
9.贝叶斯&概率模型
NB 朴素贝叶斯
GMM 混合高斯模型
动态贝叶斯网络
HMM 隐马尔可夫模型（链）
MCMC 马尔科夫蒙特卡洛
MH算法
Gibbs采样
Kalman Filter 卡拉曼滤波
Particle Filter 粒子滤波
MRF 马尔科夫随机场
CRF 条件随机场
MDP 马尔科夫决策（贝尔曼方程）
LDA 主题模型（隐狄利克雷分布）
11.相关补充：
半/无监督学习、过/欠拟合（梯度下降、正则化、Dropout…）、假设空间-VC维、协同过滤-推荐算法；
规则学习-AQ系列算法 & 归纳学习-Prism系列算法、生成模型 -> 判别模型；
感知器、最大熵模型、RBF 径向基神经网络（伪逆法）、势函数、H-K算法；
香农熵、KL散度（相对熵）、JS散度、交叉熵、条件熵、信息增益、互信息；
近似推断、变分推断、变分贝叶斯推断；
领域延伸–》【统计学、矩阵论、信息论、拓扑学、群论、图论、博弈论、逻辑学、运筹学…】
*12.智能计算 & 优化算法：
推理算法（确定性&不确定性）、
搜索策略&路径规划（状态空间&启发式搜索、剪枝/回溯法、Dijkstra算法、A*算法）、
进化算法（遗传算法）、
群智算法（粒子群优化、蚁群算法）、
模拟退火算法
*13.强化学习
基于奖励机制的 遗传算法/
DQN算法-Deep Q-Learning/
DDPG算法
NAF算法
*14.迁移学习
TrSVM算法
TrAdaBoost算法
MTL多任务学习算法
（其中，BERT模型、Mask RCNN等深度模型都有迁移学习中多任务学习的影子）
*15.自主学习
AutoML
机器学习涉及的领域很广，其应用原理大多以以统计学为基石，数学为主要工具，算法为计算策略
什么是人工智能 机器学习 数据挖掘 深度学习？它们之间的关系是什么？这里说一点自己的理解
通俗来讲人工智能是 通过计算机程序与算法 来完成“在未知情况下难以分辨这个任务是机器完成的还是由真人完成的”任务
实际上，人工智能这个概念是一个很广泛的概念，真正的人工智能从业者多年来都基本围绕机器学习的内容展开的
而作为人工智能基石的机器学习仍然是一个很庞大的领域，它本质上是数据科学。例如，从数据中获取知识（数据挖掘），从知识中生成数据 分别对应机器学习中的 判别式 和 生成式
在已有的数据中搜索 需要的/最想要的 数据 -》 启发式
通过状态-决策-环境的奖励反馈机制 -》 强化学习
根据已有 知识/数据 进行举一反三的推广和引申 -》 迁移学习
大多数情况下，机器学习都是对数据的分析与特征提取 形成知识，然而知识与数据之间没有一个确定的分界线，两者之间也可以相互转化 ，如果通过对知识的建模，即将知识视为数据 又产生了如 知识图谱、动态网络、图模型 这种更复杂的体系
深度学习 与 机器学习 的关系？
深度学习 最初只是 机器学习中连接主义【感知机与人工神经网络】分支发展而来，近几年来大火的深度学习完全得益于 计算力的提升，计算资源越来越廉价，数据量的爆炸式增长，使得很多复杂的问题在神经网络这种黑盒模型上能够取得极佳的效果。由于神经网络是一种黑盒模型，其庞大的数据量以及复杂而多样的模型调优过程 又产生了一系列的算法。
虽然深度学习一直被学术界工业界广泛推崇，但是从目前技术发展情况来看，绝对不能忽视传统机器学习、传统图像处理和信号处理方法的重要性，甚至应该要在传统方法的基础上再使用深度学习方法去研发更鲁棒，更精确和高效的模型。
————————————————
版权声明：本文为CSDN博主「Tinkle2015」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：