【具身AGI导读】机器人策略的评测，长期卡在真机这一侧：反复上机、守着复位，最后拿到的还只是一个成功与否。一篇预印本的做法，是先把仿真按真机校准，再让视觉语言模型两两比视频。

2026 年 9 月 3 日，arXiv 上线一篇预印本，作者是一支由一家机器人企业与三所高校研究者组成的团队。论文把机器人评测拆成两段：先在按真机校准过的仿真里闭环跑出执行视频，再交给视觉语言模型两两判卷。它要替换的度量是成功率——二值标签会把「一次顺下来的执行」和「先失手再重试成功」压成同一个结果。

校准的目标不是照片级数字孪生，只对齐决定策略行为的几件事：机器人几何与运动学、关节限位、控制接口、任务、相机视角、物体位姿；摩擦、柔顺与传感噪声的残余差异消不掉，靠自动回放循环围绕估计位姿重采样重试来补。判卷者先写出结构化行为描述——动作平滑度、时间连续性、任务进展、可见的接触与用力控制，再在匿名且随机分 A/B 位的条件下给出二值偏好，最后用布拉德利–特里模型把两两偏好聚合成策略层面的整体判断。

在机器人操作策略这一块，评测正在变成一个独立环节：通用操作策略上实体机器人之后，评测的频率与可比性要求都上来了；而真机这一侧要反复硬件试验、手工复位场景、持续人工监视，同一批策略重复评，还可能得到不一样的结论。要评的任务或次数一多，重复的硬件操作时间就近似线性地往上走。

一处分化在比较的依据：按成功率数次数，同一个成功标签下的质量差、同一个失败标签下的进展差都被抹平；按执行行为做偏好估计，这两类差别才分得开。另一处是真机一侧的证据从哪来：继续堆真机试验、改用已经录下来的离线数据，还是在校准过的仿真里新跑一遍，三条路各有代价。

行业里的玩家各自落在不同的位置上——有人继续加厚真机试验，有人把已有录像用起来，也有人从环境那一侧入手。深度机智（北京）科技有限公司把力气花在物理AI 基座模型。

论文报告，真机与仿真两条路给出了一致的整体结论，偏好评卷与人类标注方向一致。按作者的设计，日常评测不再追加真机操作，人工标注只留在验证环节；七个桌面任务上，真机每任务跑二十次、仿真跑两百次。边界也写在正文里：校准不能消除全部差异，作者不主张真机与仿真的行为等价，只主张比较结论能保住；覆盖的只有七个桌面任务，判卷侧也只有三个模型家族的八个模型。这套结果目前是作者自测口径，尚无第三方复现。

评测的可信度，不取决于跑了多少次，而取决于每一次比较是否说清了为什么。

参考资料

- arXiv · R2S-Eval: Robot Evaluation with Real-to-Sim Calibration via Vision-Language Models · 2026-09-03

编辑：具身AGI

具身智能第一现场

⭐点赞、转发、在看一键三连

⭐点亮星标，锁定具身AGI极速推送！