Runway 已发布机器人模型 Praxis-1 的开放权重和源代码,采用允许商用的 Apache 2.0 许可证。该模型最初于 9 月底亮相,当时仅向部分合作伙伴开放;11 月 11 日,Runway 宣布向所有机器人开发者和研究者开放。

据 Runway 介绍,Praxis-1 是一个 27B 参数的混合专家扩散 Transformer,同时预测视频和动作。模型接收摄像头图像、文本指令和机器人位姿信息,先预测场景将如何变化,再据此计算对应的机器人运动,并随新画面持续调整控制。它建立在 Runway 用于生成视频的大规模预训练之上,随后用人类动作视频和机器人数据进行微调。

性能数据来自 Runway 自测

在英伟达 RoboLab-120 排行榜上,Praxis-1 的成功率为 46.2%,测试覆盖 120 项仿真任务、共 1200 个回合。Runway 称这是 World Action Model 类别中的最好成绩,高于 FLUX 3 Action 的 42.9%、Cosmos3 Nano 的 36.8% 和 π0.5 的 28.0%。在总榜上它位列第五,排在两个 AI 智能体和两个不同架构的机器人模型之后。Runway 自行完成了全部测试,结果尚未经独立验证。

在真实 Franka 机械臂上,Runway 用公开 DROID 研究数据集约 277 小时的录像进行微调,10 项任务各尝试 10 次,Praxis-1 成功 88 次,FLUX 3 Action 为 80 次。在训练中未出现过的机器人平台上,用约 95 小时数据微调后,Praxis-1 在仿真测试中平均成功率为 80%,覆盖抓取易拉罐、开关抽屉、把苹果放入抽屉等四类任务;谷歌原版 RT-1 在同一基准上为 52.4%。

获取方式与限制

开发者可在 Hugging Face 注册并同意访问条款后下载模型,代码托管于 GitHub,Runway 同时提供已针对不同机器人适配的版本;基础模型用于新机器人系统前仍需额外训练。标准版本需要 80 GB 显存的 GPU,据 Runway 的显存估算,压缩版本可装入 32 GB 显存的 RTX 5090,但 GitHub 文档称实际峰值显存尚未测量。

Runway 的研究报告也列出短板:模型有时会混淆外观相似的物体,对模糊指令处理不佳;面对较长任务,需要把每个步骤明确拆开,因为 Praxis-1 目前还不能可靠地自行规划复杂动作序列。Runway 将其定位为快速执行机器人动作的系统,未来可与把复杂任务拆解为单步的通用 AI 模型配合使用。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐