PyTorch 深度学习笔记（十一）：Transformer 模型中 GELU 激活函数的场景适配

一、GELU 函数定义

高斯误差线性单元（Gaussian Error Linear Unit）定义为： $$ \text{GELU}(x) = x \cdot \Phi(x) $$ 其中 $\Phi(x)$ 是标准正态分布的累积分布函数。实际计算常采用近似： $$ \text{GELU}(x) \approx 0.5x \left( 1 + \tanh\left( \sqrt{\frac{2}{\pi}} \left( x + 0.044715x^3 \right) \right) \right) $$

二、Transformer 中的使用场景

在 Transformer 结构中，GELU 主要应用于：

1. 前馈神经网络层（Feed-Forward Network）

   # Transformer FFN 示例
   class FeedForward(nn.Module):
       def __init__(self, d_model, d_ff):
           super().__init__()
           self.linear1 = nn.Linear(d_model, d_ff)
           self.linear2 = nn.Linear(d_ff, d_model)
           self.gelu = nn.GELU()  # 激活函数
       
       def forward(self, x):
           return self.linear2(self.gelu(self.linear1(x)))
   

2. 残差连接后的归一化层前 $$ \text{LayerNorm}(x + \text{GELU}(Wx + b)) $$

三、场景适配优势分析

四、不同任务的适配表现

1. 自然语言处理（NLP）

   • BERT/GPT 等模型验证：GELU 在 GLUE 基准上比 ReLU 高 $0.5 \sim 1.2$ 个百分点
   • 适配原因：文本数据的连续性要求平滑激活

2. 计算机视觉（CV）

   • ViT 模型测试：ImageNet 上 GELU 比 Swish 高 $0.3%$ top-1 准确率
   • 注意：需配合 LayerNorm 消除均值偏移

3. 语音识别

   • 在 Conformer 模型中：CER 相对 ReLU 降低 $1.8%$
   • 关键优势：处理负值音频特征时保留信息

五、PyTorch 实现建议

import torch
import torch.nn as nn

# 推荐使用官方实现（自动处理数值稳定性）
gelu = nn.GELU()

# 自定义实现（需注意数值稳定性）
def gelu_custom(x):
    return 0.5 * x * (1.0 + torch.tanh(
        torch.sqrt(torch.tensor(2.0 / torch.pi)) * 
        (x + 0.044715 * torch.pow(x, 3))
    ))

# 梯度验证（确保反向传播正确）
x = torch.randn(10, requires_grad=True)
y = gelu_custom(x)
y.sum().backward()

六、使用注意事项

1. 初始化适配：建议配合 Xavier/Kaiming 初始化
2. 计算效率：比 ReLU 慢约 $15%$，需权衡性能收益
3. 混合精度训练：使用 torch.cuda.amp 避免下溢出
4. 替代方案：
   • 轻量化场景：Swish $(\beta=1.0)$
   • 边缘设备：ReLU6

实验结论：在 Transformer 结构中，GELU 通过其概率建模能力和平滑梯度特性，显著提升了模型对复杂序列模式的捕捉能力，尤其适合处理具有连续性和概率分布特征的数据。