深度学习中的激活函数和优化器：主流与前沿综述（下）

凯凯凯凯凯凯凯凯凯

1361人浏览 · 2025-07-21 16:36:55

凯凯凯凯凯凯凯凯凯 · 2025-07-21 16:36:55 发布

优化器

优化器基础

优化器是深度学习训练过程中的“大脑”，它负责根据损失函数计算出的梯度，迭代地调整神经网络的权重和偏差，以最小化损失函数。其核心目标是找到使模型性能最佳的参数集合。

优化器在深度学习中扮演着至关重要的角色：

损失函数最小化： 优化器的根本任务是寻找损失函数的全局最小值（或近似最小值）。损失函数衡量了模型预测输出与真实目标之间的差异，优化过程就是不断减小这个差异。一个更小的损失值通常意味着模型具有更高的准确性和更好的性能。
权重与偏差调整： 在每次训练迭代中，通过反向传播算法计算损失函数对每个模型参数（包括权重和偏差）的梯度。梯度指示了损失函数增加最快的方向。优化器利用这些梯度信息来决定参数更新的方向和步长，通常是沿着梯度的反方向进行调整，以期到达损失函数的低点。
学习率与反向传播： 学习率是优化器最重要的超参数之一，它决定了每次参数更新的幅度，即模型从每次梯度计算中学习的速度。选择合适的学习率至关重要：学习率过高可能导致模型在损失函数曲面中“跳过”最小值，造成震荡或发散；而学习率过低则会使训练过程变得异常缓慢，导致收敛时间过长。反向传播是计算梯度的机制，而优化器则是利用这些梯度来更新参数的算法。

优化器从全局到局部、从固定到自适应的学习率策略演变，是深度学习发展的重要体现。梯度下降最初是基于整个训练数据集计算梯度（批量梯度下降，BGD），这种方法在每次更新时方向最准确，但对于大型数据集而言，计算成本极高，效率低下。为了解决效率问题，随机梯度下降（SGD）和Mini-Batch梯度下降被提出，它们通过使用部分数据（单个样本或小批量样本）来计算梯度，显著提高了训练速度。然而，这种效率的提升也引入了更新路径的噪声和震荡。随后，优化器开始引入动量（SGD with Momentum）来平滑更新路径，减少震荡，并加速在一致方向上的前进。这种方法为优化过程引入了一种“短期记忆”，使其不再完全依赖于瞬时梯度。进一步的发展是自适应学习率方法，如AdaGrad、RMSProp和Adam，它们为每个参数维护和调整学习率。这种演变反映了从简单粗暴的全局固定步长到精细化、自适应的局部步长调整的趋势。数据集的规模和复杂性是推动优化器发展的主要驱动力。大型数据集使得BGD变得不可行，而SGD的噪声促使了动量和自适应学习率的需求。自适应学习率通过处理稀疏梯度和不同特征重要性，显著提高了训练效率和模型性能，尤其是在复杂的深度学习任务中。优化器的发展轨迹揭示了深度学习领域在面对计算资源限制和模型复杂性挑战时，如何通过算法创新来提高训练效率和模型泛化能力。

主流优化器

梯度下降 (Gradient Descent) 及其变体
- 批量梯度下降 (Batch Gradient Descent, BGD)：
  - 原理： 在每次迭代中，BGD使用整个训练数据集来计算损失函数的梯度，然后根据这个全局梯度一次性更新所有模型参数。
  - 特点： 由于每次更新都基于全部数据，其更新方向最准确，收敛路径平稳。
  - 优缺点： 优点是收敛稳定，对于凸函数能够收敛到全局最优。缺点是计算成本极高，对于大型数据集不适用，且对于非凸函数可能陷入局部最优。
- 随机梯度下降 (Stochastic Gradient Descent, SGD)：
  - 原理： SGD在每次迭代中只使用一个训练样本来计算梯度并更新参数。
  - 特点： 更新频繁且具有随机性，导致参数更新路径噪声大、震荡明显，但这种随机性有助于跳出局部最优。
  - 优缺点： 优点是计算效率高，适用于大型数据集，并且其随机性有助于逃离局部最小值和鞍点。缺点是更新路径噪声大，可能在最优解附近震荡而不精确收敛。此外，SGD对学习率的选择非常敏感。
- 小批量梯度下降 (Mini-Batch Gradient Descent)：
  - 原理： Mini-Batch GD是BGD和SGD的折衷，每次迭代使用一小批（mini-batch）训练样本来计算梯度并更新参数。批大小通常在几十到几千之间。
  - 特点： 结合了BGD的稳定性和SGD的计算效率。
  - 优缺点： 优点是计算效率和收敛稳定性之间的良好折衷，是实践中最常用的梯度下降变体。缺点是仍然需要调整批大小和学习率这两个重要的超参数。
带动量的SGD (SGD with Momentum)
- 原理与特性： SGD with Momentum在传统SGD的基础上引入了“动量”项。在参数更新时，它不仅考虑当前计算的梯度，还会考虑之前梯度的指数加权平均。这种机制模拟了物体在惯性作用下滚下山坡的物理过程，使得更新方向具有一定的“记忆”和惯性。
  - 更新规则：
  - 其中 $v_t$ 是速度向量， $\gamma$ 是动量系数（通常设置为0.9到0.99之间）， $\eta$ 是学习率。
- 优点与缺点：
  - 加速收敛： 动量项使得优化器在损失函数曲面中相关方向上加速前进，而在不相关方向（如震荡方向）上减少震荡，从而更快地到达最小值。
  - 减少震荡： 平滑更新路径，有助于在复杂且崎岖的损失曲面中导航，避免在狭窄的“峡谷”中来回震荡。
  - 避免局部最小值： 动量有助于优化器越过小的局部最小值和鞍点，从而更有可能找到全局最优解。
  - 缺点是引入了一个新的超参数 $\gamma$ 需要进行调整。
- 动量作为一种“记忆”机制，优化了梯度下降的路径。纯粹的SGD由于每次只看一个或一小批样本，更新路径非常“锯齿状”，容易在狭窄的“峡谷”中来回震荡，或者被浅层局部最小值困住。动量机制通过引入历史梯度信息，使得更新方向具有惯性，从而能够平滑震荡，加速在一致方向上的前进，并有能力跳过小的障碍。这本质上是为优化过程引入了一种“短期记忆”，使其不再完全依赖于瞬时梯度。动量的引入使得优化器能够更好地处理非凸损失函数，这是深度学习的常见情况。它通过积累梯度的方向性，有效地减少了梯度噪声的影响，从而实现了更快的收敛和更稳定的训练。动量思想是后续许多高级优化器（如Adam、Nadam）的基础，它们都在不同程度上利用了历史信息来改进参数更新。这表明了在优化算法设计中，对梯度信息进行适当的聚合和加权是提高性能的关键。
AdaGrad (Adaptive Gradient Algorithm)
- 原理与特性： AdaGrad为神经网络中的每个参数维护一个独立的学习率，并根据该参数过去梯度的平方和来调整其学习率。具体来说，对于频繁更新的参数，其学习率会逐渐减小；而对于不频繁更新的参数，其学习率会相对增大。
  - 学习率更新： $lr_t = \frac{\eta}{\sqrt{G_t + \epsilon}}$ ，其中 $\eta$ 是全局学习率， $G_t$ 是到时间步 $t$ 为止所有历史梯度的平方和（累积）， $\epsilon$ 是一个很小的常数，用于防止分母为零。
- 优点与缺点：
  - 适用于稀疏数据： AdaGrad对稀疏特征的参数给予更大的学习率，对密集特征的参数给予更小的学习率。这使得它在自然语言处理和推荐系统等稀疏数据问题中表现出色。
  - 无需手动调整每个参数的学习率，简化了超参数调优。
  - 学习率衰减过快：随着训练的进行，分母的累积平方梯度会不断增大，导致学习率过快地减小，甚至在训练早期就变得非常小，从而过早地停止学习，阻碍模型进一步优化。
- 典型应用场景： 主要用于处理稀疏数据的问题，例如在自然语言处理中进行词嵌入训练。
RMSProp (Root Mean Square Propagation)
- 原理与特性： RMSProp旨在解决AdaGrad学习率衰减过快的问题。它不是累积所有历史梯度的平方，而是使用梯度的指数加权移动平均（而非累积和）来调整每个参数的学习率。这使得它能够更灵活地适应梯度的变化。
  - 更新规则：
  - 其中 $v_t$ 是平方梯度的移动平均， $\beta$ 是衰减率。然后参数更新类似于AdaGrad，使用 $v_t$ 作为分母。
- 优点与缺点：
  - 稳定学习： 通过使用移动平均避免了学习率过快衰减，使得训练过程更稳定，不易发散。
  - 快速收敛： 通常比传统的SGD收敛更快，尤其是在非凸优化问题上表现良好。
  - 超参数较少，易于使用和调整。
  - 缺点是仍然可能存在学习率震荡问题，尽管比AdaGrad有所改善。
- 典型应用场景： 在循环神经网络 (RNN) 和强化学习中表现良好，因为这些任务的梯度可能具有高度不稳定性。
Adam (Adaptive Moment Estimation)
- 原理与特性： Adam优化器结合了RMSProp（利用梯度平方的指数移动平均）和SGD with Momentum（利用梯度本身的指数移动平均）的优点。它为每个参数计算自适应的学习率，并且对一阶矩（均值）和二阶矩（非中心方差）的估计进行偏差校正，尤其是在训练的早期阶段。
  - Adam维护两个移动平均：梯度的第一阶矩估计（均值， $m_t$ ）和梯度的第二阶矩估计（非中心方差， $v_t$ ），并对它们进行偏差校正，以确保在训练初期这些估计不会偏向零。
- 优点与缺点：
  - 快速收敛： Adam通常在各种深度学习任务中都能实现快速收敛，并且在实践中表现出强大的性能。
  - 内存效率高： 只需为每个参数维护两个移动平均，相比需要存储完整历史梯度的算法，内存需求较低。
  - 适用于稀疏/噪声梯度： 对梯度噪声和稀疏问题有很好的鲁棒性，能够有效处理这些复杂情况。
  - 默认超参数通常表现良好，易于配置，使其成为许多研究人员和实践者的首选。
  - 缺点是在某些情况下可能出现泛化性能不如SGD with Momentum的问题，或在训练后期收敛性不佳，这促使了AdamW等改进版本的出现。
- 典型应用场景： Adam是深度学习领域最常用的优化器，广泛应用于图像识别、自然语言处理等各种任务，被认为是“开箱即用”的优秀选择。

主流优化器对比

优化器	核心工作原理	主要优点	主要缺点
BGD	使用整个数据集计算梯度	收敛稳定，方向准确	计算成本高，不适用于大数据集
SGD	每次使用一个样本计算梯度	计算高效，有助于逃离局部最优	更新路径噪声大，收敛不稳定，对学习率敏感
Mini-Batch GD	每次使用小批量样本计算梯度	效率与稳定性的折衷，实践常用	仍需调整批大小和学习率
SGD with Momentum	引入动量项，考虑历史梯度方向	加速收敛，减少震荡，有助于跳出局部最优	引入额外超参数，可能过冲
AdaGrad	为每个参数自适应学习率，基于历史平方梯度累积	适用于稀疏数据，无需手动调整学习率	学习率衰减过快，可能过早停止学习
RMSProp	为每个参数自适应学习率，基于历史平方梯度移动平均	解决AdaGrad学习率衰减过快问题，收敛稳定，适用于非凸问题	学习率可能仍有震荡
Adam	结合动量与RMSProp，自适应学习率和偏差校正	快速收敛，内存高效，对稀疏/噪声梯度鲁棒，默认参数表现好	泛化性能有时不如SGD，可能在训练后期收敛不佳

表格3: 主流优化器对比

该表格为不同优化器提供了简洁而全面的对比，突出了它们在核心工作原理、优势和劣势方面的关键差异。这对于理解优化器算法的演进路径以及在实际应用中根据具体问题（如数据集大小、数据稀疏性、损失函数特性）进行权衡选择具有重要指导意义。

前沿优化器 (2024-2025)

前沿优化器致力于进一步提升训练效率、模型泛化能力和稳定性，尤其是在处理大规模模型、复杂任务和特定训练场景时。

AdaDelta 优化器
- 原理与特性： AdaDelta是AdaGrad的一种改进，旨在解决其学习率过快衰减的问题。它通过使用一个滑动窗口的累积梯度平方（而非全部历史梯度）来避免学习率的无限减小。更重要的是，AdaDelta消除了对全局学习率的依赖，这意味着用户通常无需手动设置学习率，从而简化了超参数调优过程。
- 改进与应用：
  - 解决了AdaGrad学习率单调递减的问题，使得学习率能够动态适应，避免过早停止学习。
  - 无需手动调整学习率，显著简化了超参数调优，提高了易用性。
  - 适用于稀疏数据或动态变化的数据集，能够更好地适应不同特征的更新频率。
  - 在计算机视觉任务如图像分类中有所应用。
Nadam 优化器
- 原理与特性： Nadam结合了Adam优化器和Nesterov加速梯度（NAG）的优点。NAG通过在计算梯度时考虑未来参数位置来提供更强的动量，从而实现更快的收敛。Nadam将这种“前瞻性”的动量融入到Adam的自适应学习率框架中，使其在更新参数时更具预测性。
- 改进与应用：
  - 更快、更稳定： Nadam通常比Adam收敛更快，并且在训练过程中表现出更高的稳定性。
  - 对超参数的鲁棒性更强，这意味着它在不同任务和数据集上表现更一致，对超参数选择的依赖性较低。
  - 适用于大型数据集和复杂模型，能够有效地处理高维参数空间。
  - 在计算机视觉（如图像分类、目标检测）和自然语言处理（如情感分析、文本分类、机器翻译）任务中广泛应用，并取得了良好的效果。
AdamW 优化器
- 原理与特性： AdamW是对Adam优化器的一项重要修改，它将权重衰减（L2正则化）从梯度更新中解耦出来，单独应用于模型参数。在传统的Adam中，权重衰减是作为梯度的一部分添加的，这会与Adam的自适应学习率机制相互干扰，导致正则化效果不佳，尤其是在大型模型中。AdamW通过在参数更新之后独立地应用权重衰减，确保了正则化效果的独立性和有效性。
- 优点与应用：
  - 更有效的正则化： 通过解耦权重衰减，AdamW能够实现更有效的正则化，从而更好地防止过拟合，显著提高模型的泛化能力。
  - 更好的收敛和泛化： 相比标准Adam和SGD with Momentum，AdamW在许多复杂任务（尤其是大型Transformer架构如BERT和GPT）上显示出更好的验证准确率和更快的收敛速度。
  - 兼容多种神经网络架构，并且可以无缝集成到主流深度学习框架（如TensorFlow和PyTorch）中。
- AdamW的出现揭示了将优化（最小化损失）和正则化（防止过拟合）这两个目标进行“解耦”的重要性。它认识到将权重衰减直接融入梯度更新会干扰自适应学习率的有效性，因为Adam等自适应优化器在计算梯度时，会对每个参数的梯度进行缩放，当权重衰减作为梯度的一部分时，它也会被缩放，导致其效果与预期的L2正则化行为不符。通过解耦，权重衰减可以独立地、更有效地发挥作用，从而提升了模型的泛化能力。这一趋势表明，未来的优化器设计将更加精细化，不仅考虑梯度信息本身，还会考虑其与模型结构、正则化策略、甚至数据特性之间的复杂相互作用，以实现训练效率和模型性能的全面提升。
AdaBelief 优化器
- 原理与特性： AdaBelief旨在同时实现Adam的快速收敛、SGD的良好泛化能力和训练稳定性。其核心思想是根据对当前梯度方向的“置信度”来自适应调整步长。如果观察到的梯度与预测（梯度的指数移动平均）接近，则认为梯度方向“可信”，并采取大步长；如果观察到的梯度偏离预测较大，则认为梯度方向“不可信”，并采取小步长。这种机制使得优化器能够更好地适应损失函数的曲率。
- 优点与应用：
  - 在图像分类和语言建模等任务中，AdaBelief实现了快速收敛和高准确率。
  - 在生成对抗网络 (GANs) 训练中表现出高稳定性，并提高了生成样本的质量，解决了Adam在GANs训练中可能遇到的不稳定性问题。
  - 在ImageNet数据集上，AdaBelief达到了与SGD相当的准确率，这表明其在泛化能力上具有优势。
  - 通过考虑损失函数的曲率和梯度的方差来调整步长，使其在“大梯度，小曲率”区域表现优于Adam 。
Lion 优化器
- 原理与特性： Lion优化器是一种通过“符号程序搜索”这一自动化方法发现的新型优化算法。它比大多数自适应优化器更节省内存，因为它只跟踪动量项，而不是像Adam那样跟踪一阶和二阶矩。Lion的更新是通过符号函数（sign function）产生的，这意味着其每个参数的更新都具有相同的幅度，这与传统的基于梯度幅度的更新方式不同。
- 优点与应用：
  - 内存效率高： 由于只跟踪动量项，Lion相比Adam等优化器更节省内存，这对于训练大型模型非常有利。
  - 性能提升： 在图像分类任务中，使用Lion训练ViT模型在ImageNet上准确率提升高达2%，在JFT上预训练计算量节省高达5倍。在视觉-语言对比学习、扩散模型和自回归/掩码语言模型中也表现出色或相似。
  - 其性能增益随训练批大小的增加而增长，这表明它在大批量训练场景下尤其有效。
  - 已成功部署在Google生产系统中，证明了其在实际应用中的鲁棒性和有效性。
- Lion优化器并非由人类直观设计，而是通过“符号程序搜索”这一自动化方法发现的。这代表了深度学习领域的一个重要趋势：利用人工智能来设计人工智能，即通过元学习或自动化搜索技术来发现更优的算法组件。传统的优化器设计依赖于研究人员的数学洞察和经验。自动化搜索能够探索人类难以直观发现的、性能优越的算法组合。Lion的成功证明了这种方法的可行性和潜力，它通过其独特的“符号函数”更新机制，实现了内存效率和性能的双重提升。这种“算法发现”的趋势不仅限于优化器，也可能扩展到激活函数和其他神经网络组件的设计。它预示着未来人工智能系统将能够自主优化自身的学习机制，进一步加速人工智能研究和应用的进展。

前沿优化器特性概览

优化器	核心创新点	主要优势	典型应用
AdaDelta	使用滑动窗口累积梯度平方，无需全局学习率	解决AdaGrad学习率衰减过快，无需手动调参	稀疏数据，动态数据集，图像分类
Nadam	结合Adam与Nesterov加速梯度	更快收敛，更稳定，对超参数鲁棒	图像分类，目标检测，NLP任务
AdamW	解耦权重衰减与梯度更新	更有效正则化，更好泛化，尤其适用于Transformer	大型Transformer模型 (BERT, GPT)，CV，NLP
AdaBelief	根据梯度“置信度”自适应步长	快速收敛，良好泛化 (媲美SGD)，训练稳定	图像分类，语言建模，GANs
Lion	通过符号程序搜索发现，仅跟踪动量，符号函数更新	内存高效，性能优异，尤其适用于大批量训练	ViT，视觉-语言对比学习，扩散模型，Google生产系统

表格4: 前沿优化器特性概览

该表格为前沿优化器提供了详细的概述，突出了它们在解决特定训练挑战和提升模型性能方面的创新点。这些优化器代表了深度学习领域在训练效率、泛化能力和稳定性方面的最新进展，尤其是在处理日益复杂和大规模的模型时。

优化器未来趋势 (2024-2025)

大规模模型优化 (LLMs)： 随着大型语言模型（LLMs）的兴起，优化器需要解决前所未有的大规模参数和计算挑战。未来的研究将集中于如何高效地训练和微调这些巨型模型，包括内存优化、分布式训练策略以及新的收敛策略，以应对其庞大的计算需求。
强化学习中的优化： 强化学习（RL）中的优化问题通常涉及复杂的组合动作空间和长期奖励优化，这需要新的优化算法来处理其独特的非平稳性、高方差梯度以及探索-利用困境。
自监督学习与零成本代理： 在自监督学习（SSL）中，优化器需要从无标签数据中学习有效的表示，这可能需要更鲁棒和自适应的优化策略。同时，“零成本代理”（zero-cost proxies）等训练无关的指标正被用于在不进行昂贵训练的情况下选择最优架构和激活函数，这可能也会影响优化器的选择和设计，使其与这些高效的架构搜索方法更好地协同。
更强的泛化能力： 优化器将继续关注如何提高模型的泛化能力，而不仅仅是训练损失的最小化。这可能涉及更智能的正则化集成、对损失函数几何形状的更深理解以及对训练动态的更好控制，以确保模型在未见数据上的表现。
自动化发现与元学习： 像Lion优化器那样，通过自动化搜索（如符号程序搜索、神经架构搜索）来发现新的、性能更优的优化器，将是未来的重要趋势。这代表了利用人工智能来设计人工智能的元学习范式。

总结与展望

关键发现回顾

本文深入探讨了深度学习中主流与前沿的激活函数和优化器。在激活函数方面，其发展历程展现出从早期的生物学启发到工程效率优化的清晰脉络。Sigmoid和Tanh函数虽然引入了非线性，但因梯度消失和非零中心问题而限制了深层网络的训练能力。ReLU及其变体的出现，通过缓解梯度消失和提高计算效率，极大地推动了深度学习的发展，但也带来了死亡ReLU等新问题。近期出现的Swish、GELU、Mish等前沿函数则通过更复杂的数学形式，旨在解决死亡神经元、梯度流不畅等问题，并与新型网络架构（如Transformer）更好地协同工作，提升模型性能和泛化能力。这些函数的设计趋势表明，激活函数正朝着更平滑、非单调、自适应，并与模型架构及正则化策略深度融合的方向发展。

在优化器方面，其演进历程同样充满创新。从基础的梯度下降及其变体（批量、随机、小批量梯度下降）开始，优化器逐步发展到引入动量的SGD，以及AdaGrad、RMSProp、Adam等自适应学习率方法。这些方法通过调整每个参数的学习率来加速收敛并提高稳定性，有效应对了大型数据集和复杂损失函数带来的挑战。最新的前沿优化器如AdaDelta、Nadam、AdamW、AdaBelief和Lion，则进一步优化了学习率策略、解耦了正则化、或通过创新的算法设计（如Lion的符号函数更新和自动化发现）来应对大规模模型、复杂任务和特定训练场景的挑战，实现了更快的收敛、更好的泛化和更高的内存效率。特别地，AdamW通过解耦权重衰减，显著提升了模型的泛化能力，而Lion的自动化发现则预示着优化器设计进入了由人工智能辅助的新时代。

未来研究方向与挑战

尽管激活函数和优化器取得了显著进展，但仍存在诸多挑战和研究方向，这些将塑造未来深度学习的发展：

更智能的自适应性： 未来的激活函数和优化器可能会更加智能，能够根据数据特性、模型结构甚至训练阶段动态调整其行为。例如，自适应随机动态的激活函数和能够根据损失函数曲率调整步长的优化器将是重要的研究方向。这种自适应性旨在使模型在各种复杂场景下都能保持高效和稳定。
计算效率与可持续性： 随着模型规模的爆炸式增长，特别是大型语言模型（LLMs）的出现，能耗和计算资源消耗成为重要考量。开发更节能、计算效率更高的激活函数和优化器至关重要，尤其是在边缘计算和移动设备部署场景。这包括探索更轻量级的数学运算和更优的稀疏性利用。
可解释性与鲁棒性： 提高AI系统的透明度和安全性是当前的热点。未来的激活函数和优化器可能需要设计得更具可解释性，使其决策过程更容易被理解。同时，增强模型对抗性攻击和噪声输入的鲁棒性也是关键，以确保AI系统在真实世界中的可靠性和安全性。
自动化发现与元学习： 像Lion优化器那样，通过自动化搜索（如符号程序搜索、神经架构搜索）来发现新的、性能更优的激活函数和优化器，将是未来的重要趋势。这代表了利用人工智能来设计人工智能的元学习范式，有望突破人类直觉的限制，发现更高效的算法。
特定领域优化： 针对特定应用领域（如量子计算、生物信息学、自动驾驶、强化学习）定制激活函数和优化器，以满足其独特的挑战和需求。例如，强化学习中处理组合动作空间的优化器以及大型语言模型训练中的内存和效率优化将是重点。
理论基础的深化： 尽管许多激活函数和优化器在实践中表现出色，但其背后的理论解释仍有待完善。深化对收敛性、泛化能力和训练动态的理论理解，将指导更有效的算法设计，并为未来创新提供坚实的基础。