RDT-1B震撼发布：全球首个10亿参数双臂机器人扩散模型，实现1M+多机器人数据训练突破

【免费下载链接】RoboticsDiffusionTransformer RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation 项目地址: https://gitcode.com/gh_mirrors/ro/RoboticsDiffusionTransformer

RDT-1B（Robotics Diffusion Transformer）作为全球首个10亿参数级别的双臂机器人扩散基础模型，标志着机器人操纵领域的重大突破。该模型通过融合扩散模型与Transformer架构，在46个机器人数据集上完成了超过100万次训练 episode，成功实现跨机器人平台的通用视觉-语言-运动策略。

🚀 核心技术亮点：重新定义机器人学习范式

RDT-1B创新性地构建了统一动作空间（Unified Action Space），解决了不同机器人平台间物理结构差异的关键难题。模型采用12亿参数设计，整合了SigLIP视觉编码器与T5语言编码器，形成强大的多模态理解能力。

图：RDT-1B模型架构展示了扩散Transformer的核心设计，以及与ACT、OpenVLA等基线模型的性能对比（RDT达到68.2%成功率，较基线提升34.3%）

📊 数据集突破：1M+ episode训练的工业级规模

项目团队构建了业界最全面的机器人训练数据集体系，包含：

• 预训练阶段：46个公开数据集，覆盖多品牌机器人平台
• 微调阶段：6K+自主采集的双臂机器人 episode
• 数据处理工具：data/preprocess.py 实现多源数据标准化

iclr2025_poster.png展示了模型在零样本泛化（Zero-Shot Generalizability）和指令跟随（Instruction Following）任务中的卓越表现，特别是在"按指定水位倒水"等精细操作中达到人类级精度。

💻 快速上手：从安装到推理的完整路径

环境配置指南

git clone https://gitcode.com/gh_mirrors/ro/RoboticsDiffusionTransformer
cd RoboticsDiffusionTransformer
pip install -r requirements.txt

模型训练与推理

项目提供完整的训练脚本：

• 预训练入口：pretrain.sh
• 微调脚本：finetune_maniskill.sh
• 推理演示：inference.sh

关键配置文件

核心参数配置位于configs/目录，包括：

• configs/base.yaml：模型基础参数
• configs/pretrain_datasets.json：预训练数据集配置

🔬 技术创新点解析

RDT-1B引入三项关键技术突破：

1. QKNorm与RMSNorm组合：解决大模型训练中的梯度爆炸问题
2. 交替注意力机制：平衡语言指令与视觉观测的权重分配
3. MLP解码器：通过Koopman算子降低潜在空间非线性

这些创新使模型在少样本学习（Few-Shot Learning）任务中，仅需1-5个演示样本即可掌握新技能，如"机器人遛狗"等复杂协调动作。

📈 实验性能：超越现有基线的全面优势

在Maniskill仿真基准测试中，RDT-1B实现：

• 68.2%的任务成功率（较OpenVLA提升34.3%）
• 100+未见物体的零样本泛化能力
• 300+精细操作任务的指令跟随精度

图：ICLR2025会议海报详细展示了RDT-1B的技术架构、实验结果与应用场景

🛠️ 未来展望

项目团队计划在以下方向持续优化：

1. 扩展多模态输入支持（力反馈、触觉传感）
2. 轻量化模型版本（适用于边缘计算设备）
3. 开源更多行业特定微调数据集

通过models/rdt/model.py的模块化设计，开发者可轻松扩展模型能力，推动机器人操纵技术在工业、家庭服务等领域的规模化应用。

RDT-1B不仅是一个技术突破，更是机器人学习领域的开源协作平台，已吸引2000+开发者参与贡献，共同推动通用机器人智能的边界。

【免费下载链接】RoboticsDiffusionTransformer RDT-1B: a Diffusion Foundation Model for Bimanual Manipulation 项目地址: https://gitcode.com/gh_mirrors/ro/RoboticsDiffusionTransformer