博客

逻辑回归：二分类问题

核心：激活函数sigmoid

，其中，

梯度上升/下降法   沿梯度最大的方向/反方向去更新权重值，求取函数最大、最小值

梯度优化算法：

利用梯度算法来更新参数，普通梯度下降法和随机梯度下降算法。

sigmoid函数：

def sigmoid(inX):
    return 1.0 / (1 + exp(-inX))

普通梯度下降法：

def gradAscent(dataMatIn, classLabels):
    dataMatrix = mat(dataMatIn)
    labelMat = mat(classLabels).transpose()
    m, n = shape(dataMatrix)
    alpha = 0.001               # Learning rate
    maxCycles = 500