背景

随着 ChatGPT 的火爆出圈，大模型也逐渐受到越来越多研究者的关注。有一份来自 OpenAI 的研究报告 (Scaling laws for neural language models) 曾经指出模型的性能常与模型的参数规模息息相关，那么如何训练一个超大规模的 LLM 也是大家比较关心的问题，常用的分布式训练框架有 Megatron-LM 和 DeepSpeed，下面我们将简单介绍这些框架及其用到的技术。

基础知识

在介绍这些和框架和技术之前先介绍一下设计分布式训练的基本知识。

1）通讯原语操作

NCCL 英伟达集合通信库，是一个专用于多个 GPU 乃至多个节点间通信的实现。它专为英伟达的计算卡和网络优化，能带来更低的延迟和更高的带宽。

a. Broadcast: Broadcast 代表广播行为，执行 Broadcast 时，数据从主节点 0 广播至其他各个指定的节点（0~3）。

▲ Broadcast

b. Scatter: Scatter 与 Broadcast 非常相似，都是一对多的通信方式，不同的是 Broadcast 的 0 号节点将相同的信息发送给所有的节点，而 Scatter 则是将数据的不同部分，按需发送给所有的节点。

c. Reduce: Reduce 称为规约运算，是一系列简单运算操作的统称，细分可以包括：SUM、MIN、MAX、PROD、LOR 等类型的规约操作。Reduce 意为减少/精简，因为其操作在每个节点上获取一个输入元素数组，通过执行操作后，将得到精简的更少的元素。

▲ Reduce

d. AllReduce: Reduce 是一系列简单运算操作的统称，All Reduce 则是在所有的节点上都应用同样的 Reduce 操作。

▲ AllReduce

e. Gather: Gather 操作将多个 sender 上的数据收集到单个节点上，Gather 可以理解为反向的 Scatter。

f. AllGather: 收集所有数据到所有节点上。从最基础的角度来看，All Gather 相当于一个 Gather 操作之后跟着一个 Broadcast 操作。

▲ AllGather

g. ReduceScatter: Reduce Scatter 操作会将个节点的输入先进行求和，然后在第0维度按卡数切分，将数据分发到对应的卡上。

▲ ReduceScatter

这里多说一下 AllReduce 操作，目标是高效得将不同机器中的数据整合（reduce）之后再把结果分发给各个机器。在深度学习应用中，数据往往是一个向量或者矩阵，通常用的整合则有 Sum、Max、Min 等。AllReduce 具体实现的方法有很多种，最单纯的实现方式就是每个 worker 将自己的数据发给其他的所有 worker，然而这种方式存在大量的浪费。

一个略优的实现是利用主从式架构，将一个 worker 设为 master，其余所有 worker 把数据发送给 master 之后，由 master 进行整合元算，完成之后再分发给其余 worker。不过这种实现 master 往往会成为整个网络的瓶颈。

AllReduce 还有很多种不同的实现，多数实现都是基于某一些对数据或者运算环境的假设，来优化网络带宽的占用或者延迟。如 Ring AllReduce：

第一阶段，将 N 个 worker 分布在一个环上，并且把每个 worker 的数据分成 N 份。

第二阶段，第 k 个 worker 会把第 k 份数据发给下一个 worker，同时从前一个 worker 收到第 k-1 份数据。

第三阶段，worker 会把收到的第 k-1 份数据和自己的第 k-1 份数据整合，再将整合的数据发送给下一个 worker。

此循环 N 次之后，每一个 worker 都会包含最终整合结果的一份。假设每个 worker 的数据是一个长度为 S 的向量，那么个 Ring AllReduce 里，每个 worker 发送的数据量是 O(S)，和 worker 的数量 N 无关。这样就避免了主从架构中 master 需要处理 O(S*N) 的数据量而成为网络瓶颈的问题。

2）并行计算技术

a. 数据并行

DP **(Data Parallel)：**本质上是单进程多线程的实现方式，只能实现单机训练不能算是严格意义上的分布式训练。步骤如下：

• 首先将模型加载到主 GPU 上，再复制到各个指定从 GPU；

• 将输入数据按照 Batch 维度进行拆分，各个 GPU 独立进行 forward 计算；

• 将结果同步给主 GPU 完成梯度计算和参数更新，将更新后的参数复制到各个 GPU。

主要存在的问题：

• 负载不均衡，主 GPU 负载大

• 采用 PS 架构通信开销大

**分布式数据并行 DDP (Distribution Data Parallel)：**采用 AllReduce 架构，在单机和多机上都可以使用。负载分散在每个 GPU 节点上，通信成本是恒定的，与 GPU 数量无关。

**b. 张量并行：**分布式张量计算是一种正交且更通用的方法

---

读者福利：倘若大家对大模型抱有兴趣，那么这套大模型学习资料肯定会对你大有助益。

针对0基础小白：

如果你是零基础小白，快速入门大模型是可行的。
大模型学习流程较短，学习内容全面，需要理论与实践结合
学习计划和方向能根据资料进行归纳总结

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

这里我们能提供零基础学习书籍和视频。作为最快捷也是最有效的方式之一，跟着老师的思路，由浅入深，从理论到实操，其实大模型并不难。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

学习路上没有捷径，只有坚持。但通过学习大模型，你可以不断提升自己的技术能力，开拓视野，甚至可能发现一些自己真正热爱的事业。

最后，送给你一句话，希望能激励你在学习大模型的道路上不断前行：

If not now, when? If not me, who?
如果不是为了自己奋斗，又是为谁；如果不是现在奋斗，什么时候开始呢？