【机器学习—03】感知机模型

  • Post author:
  • Post category:其他

1. 感知机模型是什么?有什么作用?

  1. 定义:感知机模型是建立将训练数据完全划分为2类的超平面。

    注意:

    1. 由于感知机只关心将样本分开,并不关心样本x与标签y的关系,所以属于生成模型与判别模型中的判别模型
    2. 如果训练数据集是线性可分的,那么感知机一定能找到那个平面。如果不是,则最后无法获得超平面,这是感知机的局限性。
  2. 作用:感知机模型是解决分类问题的线性模型或确定模型或参数模型。输入是实例的特征向量,输出的是实例的类别,分别是 +1 和 -1 。

2. 三要素

2.1 模型

感知机模型为:线性函数 套上一个 符号函数。在这里插入图片描述

  • 对于式子中符号的解释:
    在这里插入图片描述
    其中,超平面已经能将样本分开了,而将划分再进行符号化处理,是为输出分类结果服务的。
  • 证明为什么w是直线(高维空间下为超平面)的法向量
    在这里插入图片描述

2.2 策略

  1. 损失函数:采用自定义损失函数:误分类点到超平面的总距离。
  2. 经验风险:
    在这里插入图片描述
  • 函数距离 与 几何距离 公式:
    在这里插入图片描述

2.3 算法

  1. 目标函数是什么?答:经验风险最小化

  2. 怎么对目标函数求最优参数?答:采用随机梯度下降。随机梯度下降有两种形式:

    1. 原始形式
      在这里插入图片描述

    关于 w,b 的更新公式,是如何根据经验风险求梯度得到?点击此处

    1. 对偶形式
      在这里插入图片描述

版权声明:本文为qq_43546676原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。