机器学习大致可分为三大类:监督学习、半监督学习、非监督学习
监督学习
所有的监督学习基本上是“分类”的代名词,它从有标签的训练数据中学习模型,然后给定某个新数据,利用模型预测新数据的标签。这里的标签,即使就是某个事物的分类。
根据已知数据集做训练,对未知数据集合做分类
所谓监督学习,就是先用训练数据集合学习得到一个模型,然后再使用这个模型对新样本进行预测。
监督学习的基本流程
监督学习的分类
监督学习大体可分为回归分析和分类学习
回归问题的学习,在某种程度上,等价于函数的拟合,即选择一条函数曲线,使其能很好地拟合已知数据,并较好地预测未知的数据
分类学习算法比较多,著名的有k-近邻(kNN)、支持向量机(SVM)、朴素贝叶斯分类器、决策树、BP方向传播算法
k-近邻算法
给定某个待分类的测试样本,基于某种距离度量,在训练集合中找到与之距离最近的k个训练样本。然后基于这k个最近的“邻居”,进行预测分类。在分类学习中,预测策略通常采取的是多数表决的“投票法”,即将这k个样本中出现最多的类别,标记为最终的结果。在回归任务中,预测策略多采用“平均值”法,将这k个样本标记的平均值作为预测结果。
kNN是一种基于实例的学习,也是懒惰学习的典型代表,懒惰学习在训练阶段仅仅将样本保存起来。
kNN的不足之处:“多数表决”会在类别分布偏斜时浮现缺陷,也就是说,k的选取很重要;“少数服从多数”原则也容易产生“多数人暴政”的问题,“多数”可能恰恰是平庸的多数,而精英永远是少数,kNN算法简单地实行“众点平等”的“少数服从多数”原则,可能将新数据的类别归属误判,补救方法是越靠近数据点的投票权重越高;距离计算方式也会影响分类结果。
非监督学习
非监督学习,本质上是“聚类”的近义词
给定N个对象,将其分成K个子集,使得每个子集内的对象相似,不同子集之间的对象不相似。
聚类指的是,将物理或抽象对象的集合分成由类似对象组成的多个类的过程。聚类的关键是如何度量对象间的相似性。
聚类分析通常分四步走,即数据表示、聚类判据、聚类算法和聚类评估。聚类判据是确定聚类搜索的方向。
K均值聚类算法
k均值聚类的目的在于,给定一个期望的聚类个数K,和包括N个数据对象的数据集合,将其划分为满足距离方差最小的K个类。
K均值算法的基本流程:首先选取K个点作为初始K个簇的中心,然后将其余的数据对象按照距离簇中心最近的原则,分配到不同的簇。当所有的点都划分到一个簇之后,再依据每个簇类对象的均值对簇中心进行更新,计算每个对象到簇中心对象距离的最小值。按照上需步骤,循环迭代,直到满足一定条件才停止计算。
K均值聚类算法的优缺点:(1)K值需要用户事先给出;(2)聚类质量对初始聚类中心的选取有很强的依赖性;(3)对噪声点比较敏感,聚类结果容易受噪声点的影响;(4)常采用欧氏距离来度量不同点之间的距离,这样只能发现数据点分布较均匀的球形簇。
半监督学习
半监督学习就是以“已知之认知(标签化的分类信息)”,扩大“未知之领域(通过聚类思想将未知事物归类为已知事物)”。这里隐含了一个基本假设——聚类假设,其核心要义是:相似的样本,拥有相似的输出。
半监督学习既用到了监督学习的先验知识,也吸纳了非监督学习的聚类思想,二者兼顾。
强化学习
强化学习强调的是,在一系列的情景之下,选择最佳决策,它讲究通过多步恰当的决策,来逼近一个最优的目标,因此,它是一个多步决策的问题。
阿尔法元从零开始,完全靠强化学习来参悟。阿尔法元远比阿尔法狗强大,因为它不再被人类的知识所局限,而是能够发现新知识、新策略。
强化学习也使用未标记的数据,它可以通过某种方法(奖惩函数)知道你是离答案越来越近,还是越来越远。
机器学习的流派
连接主义:主要代表形式是人工神经网络
行为主义:代表形式是强化学习
符号主义:代表形式是专家系统和知识图谱
从三大流派处理的对象来看,好像存在某种递进关系:数据——》信息——》知识