清华大学与 UC Berkeley BAIR 实验室联合开源了 uni-robot-agent:为 Robot-Use Agent(RUA)建立一套统一、模块化的 Harness,让语言模型通过标准化工具接口操控不同的机器人和仿真环境。RoboDojo 基准上,开放权重模型配这套框架拿到 31.39 分,超过官方 GPT-6 Astra + RoboProbe 的 28.97 分;真机 19 项任务里,未经专项微调的 Qwen 拿到 53.50 分。具身智能正在进入自己的"Coding Agent 时刻"。

🎯 一、问题:机器人操作没有统一的"工具接口"

Coding Agent 领域有个被低估的优势:同一套工具——读文件、执行代码、看结果——可以用于几乎所有编程任务,模型在不同环境里复用工具使用经验。机器人操作完全相反:即使都是抓取物体,单臂机器人和双臂机器人的动作接口也可能不同,模型需要理解新的参数、坐标系和控制规则,原有经验难以迁移。

经验可复用
跨任务迁移

每换硬件
经验归零

Coding Agent
统一工具接口

编程任务 1 / 2 / 3

机器人 Agent
接口碎片化

单臂 / 双臂 / 移动平台
各写一套接口

uni-robot-agent 要解决的就是这个:给 RUA 一套统一的交互接口,屏蔽不同硬件和环境的底层差异,让模型以一致的方式获取感知信息、调用控制工具并接收执行反馈。

⚙️ 二、框架架构:Harness 的统一与模块化

这套框架的定位是"机器人领域的 Claude Code 底座":统一接口、模块化设计、标准化工具,模型层随便换。

语言模型
Qwen / GPT-6 / 开源权重

uni-robot-agent
统一 Harness

感知接口
标准化观测输入

控制工具
标准化动作调用

反馈接口
标准化执行结果

真实机器人

RoboDojo 仿真

其他环境
按规范接入

设计哲学和 DeepSeek 开源 Harness、LobeHub 组织 Agent 的思路同构:相似的设计约束会导出相似的架构选择——模型层越通用,运行时层的标准化价值越大。

🔧 三、跑分:开源框架让开源模型反超闭源官方方案

评测结果分两层看:

46%28%26%RoboDojo 基准得分对比Qwen3.8-Flash-Next + RUA 框架 31.39GPT-6 Astra + RoboProbe 官方 28.97GPT-6 Astra + RUA 框架 51.90

第一条反直觉结论已经出来了:开放权重模型配上这套统一框架,跑赢了官方闭源方案。框架本身贡献的能力增量,超过了模型代差——这就是"Harness 是新战场"的直接证据。

真机侧更狠:19 项任务评测里,未经任务专项微调的 Qwen 拿到 53.50 分,分别领先微调后的 π₀.₅ 达 5.75 分、零样本 Dream-1 达 10 分;GPT-6 Astra 搭配该框架则进一步拿到 80.50 分。

"真机 / 仿真""统一 Harness""语言模型未经微调 Qwen""真机 / 仿真""统一 Harness""语言模型未经微调 Qwen"标准化工具调用(与 Coding Agent 同构)翻译为具体硬件指令屏蔽底层差异感知 + 执行反馈标准化观测经验沉淀可迁移到新硬件

🧠 四、这套工作的三层含义

第一,对研究者:跨环境泛化有了标准测试床。 以前每个实验室的报告难以横向比较——硬件、接口、评测全不一样。统一 Harness 让"换个机器人重跑一遍"成为可能。

第二,对工程团队:换硬件不用换经验。 框架把硬件差异封装在适配层,上层 Agent 的提示词、工具策略、失败恢复逻辑可以带着走——机器人产品的迭代成本曲线会被拉平。

第三,对开源生态:训练和本地化部署铺路。 团队明确说想搭建通用底座,让开源模型接入不同机器人。这正是 DeepSeek 用 MIT 协议开源 Harness 的同款逻辑:底盘图纸免费发,生态税别想收。

📊 五、能力边界:跑分之外,失败也被扒了出来

这项工作值得肯定的一点是把失败原因、能力短板和运行成本都公开了,而不是只报喜。文章明确指出模型能把机器人操作做到什么程度仍在探索——53.5 分意味着还有接近一半的任务没拿下,长程任务的误差累积、接触密集操作的触觉反馈缺失,都是框架和模型共同的下一关。

26-0826-0926-1026-1126-1227-0127-0227-0327-0427-0527-0627-07统一接口与模块化 Harness RoboDojo 与真机基准验证 跨硬件适配层扩展 失败模式库与恢复策略 触觉反馈与长程误差累积 已完成进行中待解从开源底座到产品级 RUA 的路(示意)

⚠️ 六、要泼的冷水

第一,分数不等于可靠。 80.50 分的真机成绩说明上限,但产品级要求的是"一万次不出一次事故",这和"19 项任务平均分"是两种指标体系。

第二,硬件适配层是脏活。 统一接口的真正难度不在 API 设计,而在每接一款新硬件就要处理的标定、延迟、安全边界——这部分决定开源生态的扩张速度。

第三,GPT-6 Astra 的 80.50 分依赖闭源模型。 开源框架 + 闭源模型能到 80 分,开源模型目前 53 分——底座开放了,模型层的差距仍要靠后训练慢慢追。

从执行循环看,RUA 的单次任务生命周期是一个典型的"感知-决策-执行-恢复"状态机,统一 Harness 把每个状态的迁移都标准化了:

标准化输入
获取场景信息

模型推理
生成工具调用

Harness 翻译
为硬件指令

执行反馈
继续下一轮

执行异常
或结果偏差

调整策略重试

重试超限
记录失败原因

目标达成判定

无需动作

接收任务

感知观测

规划决策

执行动作

失败恢复

任务终止

任务完成

📋 七、清单:谁该现在就看这个仓库

1️⃣ 做具身智能 / 机器人操作的研究团队——统一基准终于出现了
2️⃣ 做机器人产品的工程团队——评估"换硬件不换上层"的可行性
3️⃣ 做 Agent 基建(Harness / 工具协议)的团队——机器人是下一个迁移战场
4️⃣ 做开源模型后训练的团队——真实执行轨迹的数据闭环从这里来
5️⃣ 想入行具身智能的工程师——从读这套 Harness 的接口规范开始,比啃论文快

💡 最后一句实话

机器人领域的"标准战争"已经打响了:谁能定义 RUA 的统一接口,谁的生态就先长起来。清华和伯克利这次把底座直接开源,等于把入场券发给了所有人。一年后回头看,这可能是具身智能从"各家练各家"走向"同一张考卷"的转折点。

论文:arXiv 2611.01560 | 代码:github.com/Open-RUA/uni-robot-agent | 分数均为论文自报口径,未做独立复现。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐