逻辑回归及梯度下降法

  • Post author:
  • Post category:其他




1 逻辑回归



1.1 原理过程

逻辑回归是一种二分类方法。

  • 找到预测函数,一般表示为h函数,用来预测输入数据的判断结果:

    分类边界为线性边界时,预测函数为

    在这里插入图片描述




    h θ ( x ) h_θ(x)







    h










    θ


















    (


    x


    )





    函数的值表示结果取1的概率。
  • 找到损失函数,记为J(θ)函数,表示所有训练数据预测值和实际类别的偏差:

    基于最大似然估计,得到损失函数

    在这里插入图片描述

    在这里插入图片描述
  • 找到J(θ)函数的最小值:

    根据梯度下降的公式,得到迭代公式

    在这里插入图片描述
    因为式中α为一常量,所以1/m一般省略,所以最终的θ更新过程为:

    在这里插入图片描述



2 梯度下降法

梯度下降法(gradient descent)是一种常用的一阶优化方法,是求解无约束优化问题最简单、最经典的方法之一。

求解目标函数J(θ)的最小值,梯度下降法公式:

在这里插入图片描述

梯度下降法包括批量梯度下降法和随机梯度下降法。批量梯度下降:每迭代一步,要用到训练集的所有样本。随机梯度下降:每迭代一步,用到训练集中的部分样本。

牛顿法是典型的二阶方法,其迭代轮数远小于梯度下降法,但其每轮迭代中涉及到海森矩阵的求逆,计算复杂度相当高。拟牛顿法是以较低的计算代价寻找海森矩阵的近似逆矩阵。

牛顿法迭代公式:

在这里插入图片描述




H k H_k




版权声明:本文为shuqing1996原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。