近日，沐曦股份正式完成面向具身智能大规模强化学习框架 RLinf 的全栈适配，适配方案已正式合入 RLinf 官方主线，RLinf 官方同步宣布支持沐曦 GPU。开发者无需修改任何代码，即可在沐曦 GPU 上完整运行 RLinf 的具身智能训练任务，实现跨硬件无感知迁移。

RLinf 是首个面向具身智能的“仿训推一体化”大规模强化学习框架，由清华大学和无问芯穹联合北京中关村学院等多家机构共同推出，多项成果被 OSDI、RSS、NeurIPS 等顶级会议收录。该框架旨在打通“渲染、训练、推理”三个环节在系统层面的割裂，让开发者在统一平台上完成从仿真环境交互到策略梯度更新的完整闭环，目前已被多家机器人企业与芯片厂商采用。

此次基于沐曦曦云 C 系列 GPU 集群，沐曦团队完成了从千卡 SFT （Supervised Fine-Tuning，监督微调）到多场景 RL（Reinforcement Learning,强化学习） 后训练的全流程验证：四组任务成功率全部对齐或超过论文报告水平，其中一组反超官方参考值 8.8 个百分点；多机扩展线性度保持在 97% 以上。

官方主线合入，零侵入适配

沐曦股份合并进入RLinf官方主线，是其“Upstream First”战略的又一重要实践。

Upstream First （主线优先）是开源社区通行的一项开发原则，指将代码与适配直接提交至上游项目的主线，而非维护一份私有的下游分支。对硬件厂商而言，这一选择意味着更高的开发投入与更长的评审周期，但也带来三点明确的长期收益：开发者获得原生支持，无需任何代码修改；能力随官方版本同步演进，避免分支漂移带来的维护负担；适配经过上游项目评审与认证，而非厂商单方面的兼容声明。

此前，沐曦股份已合入 LMCache、ms-swift开源框架项目官方主线，此次又将 GPU 支持合入 RLinf 官方主线，正是公司“Upstream First”战略在具身智能领域的落地实践。

沐曦股份的接入遵循 RLinf 的标准化插件模式，对其他硬件平台代码零侵入，具体通过四层对齐实现：

• 加速器抽象层：新增沐曦 GPU 管理器，完整实现设备探测、数量上报、型号序列化等接口，注册至 RLinf 加速器注册表；
• 调度协同：通过环境变量控制多卡可见性，与 Ray 调度协同，保证训练进程与硬件分配严格一致；
• 通信栈：默认采用沐曦集合通信库 MCCL 作为通信后端，对标 CUDA 生态中的 NCCL，完成 All-Reduce、All-Gather 等多卡集合通信；
• 软件栈：基于 沐曦MXMACA 软件栈的沐曦版 PyTorch 与 FlashAttention，原生支持 BF16 混合精度与 FSDP 并行策略。

千卡SFT：1024 卡 32 小时高效完成

在SFT监督微调环节，沐曦团队基于 RLinf 框架，在 C 系列 GPU 集群（RoCE 高速互联、GPFS 分布式存储）上完成 Pi0.5 模型在 RoboTwin 数据集上的 SFT 训练，先后验证 512 卡与 1024 卡（128 节点 × 8 卡）两档规模：

• 1024 卡：20000 步训练 32 小时完成，单卡吞吐 2.75 samples/s，loss 平稳收敛至稳态；
• 512 卡：单卡吞吐 2.8 samples/s，与千卡规模基本持平，规模扩展一致性良好。

1024 卡训练 loss 曲线

512 卡训练 loss 曲线

具身 RL ：四组结果全对齐，一组反超官方 8.8 个百分点

在 RL 后训练环节，沐曦团队在三大仿真环境中完成四组端到端验证，四组任务成功率全部对齐或超过官方指标。

仿真环境	模型 + 算法	论文/官方指标	沐曦 GPU 结果
ManiSkill	Pi0.5 + 异步 PPO	89.7%*	96.56%
LIBERO-10	GR00T + PPO	86.3%*	95.11%
LIBERO-10	Pi0.5 + PPO	93.0%	92.96%
RoboTwin	openvla-oft + GRPO	94.53%	93.75%

*注：ManiSkill 一组，论文未提供异步 PPO 评估指标，89.7% 为其同步式 RL 基线（Flow-Noise 算法）结果；LIBERO-10 + GR00T 一组，86.3% 为 RLinf 官方文档报告的同任务参考结果（同底座、同算法）。

四组结果中，LIBERO-10 + GR00T 一组达到 95.11%，较官方参考结果显著高出 8.8 个百分点。这一提升主要来自多机更大全局批大小与更新框架版本的训练配置差异，官方文档亦指出进一步调优可带来精度提升。

多机扩展：线性度超97% ，支持“训练—推理—仿真”混合高效负载协同

以 ManiSkill 异步 PPO 负载为例，在保持全局 batch size 一致的前提下，从 1 机 8 卡扩展至 8 机 64 卡，多机扩展线性度保持在 97% 以上，部分配置出现超线性；LIBERO、RoboTwin 负载的多机扩展同样取得 95%–99% 的线性度。这表明沐曦 GPU 集群能够支持“训练—推理—仿真”混合负载下的高效协同。

结语

具身智能对算力的需求是复合的，既包括训练模型的 AI 算力，也包括大规模仿真交互与策略推理所需的算力支撑。

沐曦股份 GPU 与 RLinf 的官方主线合入，并完成千卡规模全流程高质量验证，为具身智能开发者提供了“国产算力 + 主流开源框架”的开箱即用选择，持续推进国产算力与具身智能生态的深度融合。