博客

概念

梯度下降法是一种常用的优化算法，用于在机器学习和深度学习中更新模型参数以最小化损失函数。它通过迭代地调整参数，沿着损失函数的负梯度方向移动，从而逐步逼近损失函数的最小值。

基本思想

梯度下降法的基本思想是：在每次迭代中，计算损失函数对于模型参数的梯度（导数），然后将参数朝着梯度的负方向移动一小步（称为学习率），以减少损失函数的值。这个过程将一直持续，直到达到收敛条件（如达到一定迭代次数或损失函数的变化不再显著）。

伪代码

1. 初始化模型参数（权重和偏置）
2. 设置学习率（步长）
3. 进入迭代循环：
   4. 计算损失函数关于参数的梯度
   5. 更新参数：参数 = 参数 - 学习率 * 梯度
   6. 检查收敛条件（例如，损失函数的变化小于某个阈值或达到最大迭代次数）
7. 返回最终的模型参数

代码实现

import numpy as np

# 准备示例数据
X = ...  # 特征矩阵
y = ...  # 标签向量

# 初始化模型参数
theta = np.zeros(X.shape[1])

# 设置学习率和迭代次数
learning_rate = 0.01
num_iterations = 1000

# 梯度下降迭代
for _ in range(num_iterations):
    # 计算梯度
    gradient = np.dot(X.T, (y - sigmoid(np.dot(X, theta))))
    # 更新参数
    theta += learning_rate * gradient

# 定义sigmoid函数
def sigmoid(z):
    return 1 / (1 + np.exp(-z))

# 训练完成后，theta 包含了最优的模型参数