深度学习系列 | 梯度下降算法

技术小黑

996人浏览 · 2025-08-22 00:33:06

技术小黑 · 2025-08-22 00:33:06 发布

一、通俗总结

梯度下降就像在看不清全貌的山坡上，每次顺着脚下最陡的下坡迈一小步，慢慢走到山底，专门解决复杂问题中找最优解的难题。

二、生活案例类比（辅助记忆）

梯度下降的核心功能是 “沿最快下降方向逐步逼近最低点”，类似 “大雾天下山”：

你在大雾中站在山坡上，看不清山脚（全局最小值），只能通过脚下的坡度判断方向；
每次你都选择脚下最陡的下坡方向（梯度反方向）迈一小步（学习率控制步长）；
重复这个过程，慢慢靠近山脚（目标函数最小值）。

这里，“大雾” 对应 “无法用解析法全局求解”，“最陡下坡方向” 对应 “梯度反方向”，“小步” 对应 “学习率控制步长”，“山脚” 对应 “目标函数最小值”。

三、拆解知识步骤

1. 由来背景

传统求解优化问题（如找函数最小值）的方法是 “解析法”：直接对目标函数求导，令导数为 0，解出参数的解析解（如线性回归的正规方程）。但当目标函数满足以下情况时，解析法失效：

函数复杂（如高次多项式、非凸函数），无法写出导数为 0 的方程；
高维参数空间（如神经网络的百万级权重），解方程计算量爆炸。

因此，数值优化方法应运而生，梯度下降是其中最简单、应用最广的算法，最早可追溯到 19 世纪微积分在优化问题中的应用，20 世纪后随着计算机发展被广泛用于工程和机器学习领域。

2. 目标及解决的问题

核心目标：找到目标函数 $J(\theta)$ 的最小值（或局部极小值）；
解决的问题：突破解析法的局限，高效求解高维、复杂、非凸目标函数的优化问题（如机器学习中损失函数的最小化、神经网络的训练等）。

3. 实现步骤

梯度下降通过 “逐步逼近” 的方式实现优化，核心逻辑是 “沿最快下降方向小步迭代”：

初始化参数：随机设定初始参数 $\theta_0$ （如随机给神经网络权重赋值）；
计算梯度：求目标函数在当前参数 $\theta_t$ 处的梯度 $\nabla J(\theta_t)$ （梯度方向是函数上升最快的方向，反方向则是下降最快的方向）；
更新参数：按公式 $\theta_{t+1} = \theta_t - \eta \cdot \nabla J(\theta_t)$ 沿梯度反方向更新参数（步长由学习率 $\eta$ 控制）；
判断收敛：重复步骤 2-3，直到梯度接近 0（ $\nabla J(\theta_t) \approx 0$ ，此时参数接近最小值点）或达到最大迭代次数，停止迭代。

4. 局限性

学习率难调： $\eta$ 太小会导致收敛速度极慢；太大则可能跳过最小值，导致参数在最优值附近震荡甚至发散；
易陷局部极小值：对非凸函数（如多数神经网络损失函数），可能停在局部最小值而非全局最小值；
对高维数据敏感：参数维度极高时，梯度计算成本高，收敛速度可能变慢；
受鞍点影响：在高维空间中，参数可能陷入鞍点（某一维度是极大值，另一维度是极小值），此时梯度为 0 但并非最小值，导致迭代停滞。

四、数学表达式及含义

梯度下降的核心是参数迭代更新公式：

$\theta_{t+1} = \theta_t - \eta \cdot \nabla J(\theta_t)$

符号解释：

$\theta$ ：待优化的参数（如机器学习中的权重、偏置）；
t ：迭代次数（第t步的参数为 $\theta_t$ ，第t+1步更新为 $\theta_{t+1}$ ）；
$\eta$ ：学习率（步长，控制每次更新的幅度，通常是 0 到 1 之间的正数）；
$\nabla J(\theta_t)$ ：目标函数 $J(\theta)$ 在 $\theta_t$ 处的梯度（由偏导数构成的向量，反映函数在该点变化最快的方向）；
公式含义：参数沿目标函数梯度的反方向更新，通过逐步迭代逼近目标函数的最小值。

五、补充说明

梯度下降算法在实际应用中，根据计算梯度时使用的样本数量，衍生出三种常见变体：批量梯度下降（BGD）、随机梯度下降（SGD）、小批量梯度下降（MBGD）。它们的核心逻辑一致（沿梯度反方向更新参数）

用 “装修房子选油漆颜色” 类比三种方法的核心差异：

BGD：把所有房间（全部样本）的采光、家具风格都研究一遍，再选最适配的颜色（精准但耗时）；
SGD：随机进一个房间（单个样本），根据这个房间的风格直接选颜色（快速但可能和其他房间不搭）；
MBGD：随机进 3 个房间（小批量样本），综合这 3 个房间的风格选颜色（既比逐个看快，又比只看一个更稳妥）。

三种方法的参数更新公式框架相同（均为 $\theta_{t+1} = \theta_t - \eta \cdot \nabla J(\theta_t)$ ），核心差异在于梯度 $\nabla J(\theta_t)$ 的计算方式（即使用多少样本计算梯度）,这里不再展开,感兴趣的同学可自行搜索查询,目前主流推荐 小批量梯度下降MBGD