别再拿训练大模型那套“忽悠”机器人了

——idea is "cheap"？

目录

01 闭环跑不起来

问题

原因

方案

02  具身智能最缺的是“验证手段”

问题

原因

方案

03  具身也该有自己的“后训练”

问题

原因

方案

04  一些建议

先练一项最值钱的能力：定位 bug 

建一个“个人版 infra”

用最小投入过门槛，把时间砸在差异化上

05  总结与延伸

---

近期OpenAI工程师翁家翌的访谈在业界引发广泛关注，其中最具讨论点的部分，是一套工程化到近乎冷酷的世界观：

在大模型竞争中，真正的决胜因素并非依赖个别天才的灵光一闪，也不是某种难以复现的“玄学配方”，而是“单位时间内的有效迭代次数”。

换言之，关键在于：能否构建闭环、高效推进并保持系统稳定。

这一核心逻辑，恰恰与当前具身智能的发展困境高度契合。

这也是为什么今天这篇文章我们想换个视角，把这套逻辑搬到具身智能里重新审一遍。

然而，当我们将同样的逻辑照搬进具身智能领域，试图用代码的“迭代速度”去驾驭物理的“混沌现实”时，一种深刻的错位便出现了——

毕竟具身智能的发展，表面上看是机器人实现了运动能力，但其本质更接近于一场以物理世界为训练环境的强化学习：

传感器噪声、实时控制、系统延迟、多变地形、安全约束以及真实场景中的长尾干扰——每一个因素都可能将理想化的研究拉回复杂的工程现实。

所以这篇文章，我们希望借助翁家翌访谈中传递的工程化逻辑，站在具身智能的角度：跳出代码设计的理想化局限，从工程化、闭环迭代的角度拆解这套核心逻辑的可借鉴之处。

我们将围绕以下三个方面，分别从问题、原因分析、解决方案三个维度出发，探讨其中哪些经验可以借鉴，哪些挑战需要提前应对，最后尝试给刚入行具身智能的朋友一些可行建议。

具身智能落地困境，是闭环跑不起来；

具身智能最稀缺的不是“创新”，而是“验证手段”；

具身智能该有自己的“post-training”（后训练）。

01 闭环跑不起来

问题

为什么具身智能总给人一种“PPT上的巨人”的感觉？

你会看到各种惊艳演示：机器人会跟随、会抓取、会对话、会做任务规划，视频里像开挂。但一到真实世界，它就开始暴露本体：

• 进门卡门槛，出门怕台阶

• 光照一变检测就飘

• 动作延迟一上来，控制像踩棉花

• 任务一长，策略开始发散，重复试探，像在原地打转

最后总结为一句：“模型还不够强。”

原因

“谁修的 bug 多，模型就会训得更好”？

实则不然。

因为在具身里，bug 并非暴露在loss曲线这类量化模型指标中，而是隐匿于闭环系统的各类细粒度执行与交互环节。

很多时候看似是模型端的性能问题，本质却是系统层面存在未被察觉的隐性故障与反馈偏差。

具身系统最常见的“隐形 bug”，大概“长”这样：

• 时间戳不同步：系统动作执行基于延迟的环境感知数据，动作常常在追一个“过去的世界”；

• 控制频率和推理频率对不上：策略在离线日志分析中逻辑合理，实际落地执行时出现动作抖动、执行不平稳的问题；

• 噪声和漂移累积：环境地图与实际物理空间的偏差持续叠加，最终造成导航定位精度失效；

• 评测只跑顺风局：未将典型失败模式纳入回归测试体系，同类问题反复出现且无常态化解决机制；

• 数据闭环不通：采集慢、标注慢、清洗慢、训练慢，最后迭代更慢

所以具身的瓶颈经常不是“想不到”，而是“跑不动”。不是“缺点子”，而是缺一套能把点子从数据采集、训练到评测一条路跑通的系统。

一旦闭环系统能稳定跑起来，bug 才会变得“可见”，可复现，可回归：测评里暴露问题，系统能自动把对应失败片段拉出来，定向补数据、补训练、再回到同一套回归测试里验证“这次真的修掉了”。

这也是为什么大家都在聊“统一 infra”，本质上是在追求一种全栈闭环能力。

方案

面对这些general的问题，我们将视线放回具身智能领域，解决方案大致包括以下三点：

• 确保故障可复现

对于同一输入，失败案例必须能够可靠重现。具身智能的难点往往不在于发生一次故障，而在于故障难以复现，导致无法系统分析。

因此，需完整记录传感器数据、时间戳、环境状态及控制输出等信息，实现全流程“一键回放”。

只有具备可复现的能力，系统优化才具备基础。

• 建立“失败案例库”，并固化成回归测试

不应仅关注整体成功率，而应深入分析具体失败原因，例如“时序不同步”“遮挡后姿态丢失”“因安全绕行导致路径信息失效”等。

每解决一类问题，便应将对应场景纳入回归测试集，形成持续积累的“失败字典”，从而避免在后续代码迭代中再次引入同类错误。

• 把安全从“最后否决”升级为“决策的一部分”

许多现有系统采用“语义层输出前进指令，安全层强行否决”的架构，易导致机器人在决策冲突中陷入循环。

更稳健的做法是：直接在可行动作空间中，输出最接近目标且安全可行的航向指令，使系统自始即在可行域内进行决策。

02  具身智能最缺的是“验证手段”

问题

为什么具身领域看起来论文很多、方法很多，但真正形成“代际碾压”的很少？

如果你经常读具身智能的论文，会发现很多工作停在“提出了一个模块”：

• 更聪明的 planner

• 更强的 VLM 提示

• 更精巧的 reward

• 更复杂的分层策略

• ……

这些模块在论文中往往逻辑自洽，效果显著，但落到真实世界里经常变成：依赖场景、复现成本高、参数敏感、换个平台就大幅退化，这些“老生常谈”的问题上。

但，问题不一定出在模块本身，而是出在验证方式上。

很多模块其实是该研究为某一类“特定场景”量身定做的，于是它的验证也自然被锁死在那类场景里。

而具身智能真正的挑战，恰恰来源于那些未被预设的、多样化的长尾失败模式——

这些模式通常不在现有测试基准（benchmark）覆盖范围内。

VLM模型测评报告

假设我们有足够强的验证手段，能把这个模块丢进各种地形、光照、传感器噪声、不同机器人平台里跑一轮，进而将暴露出的失败案例持续纳入回归测试集予以追踪和修复，那么该模块将被迫向工程鲁棒性演进，从而具备更强的抗干扰与跨场景迁移能力。

但现实是：验证手段是稀缺品。

于是很多工作只能证明“在我这套设置下有效”，却很难证明“在具身智能可能面临的各种现实环境中是否依然可靠”。

因此，idea 可以很快冒出来，但能不能把它跑通、跑稳、跑到更多场景里，决定胜负的还是 infra 和迭代速度。

原因

正因为具身的验证成本比大模型更硬核：

大模型可以用海量数据和离线评测逼近目标，具身必须面对真实环境的“长尾反馈”，每次试错都带着时间、风险和硬件成本。

因此导致了一个残酷事实：

如果你一天只能跑 3 次真实闭环，对手一天能跑 30 次，哪怕你的 idea 更漂亮，最后也很可能输。

正所谓“idea is cheap”——

能提出一个导航策略的人很多，能把它跑稳、跑快、跑到多场景不崩的人很少。

所以，具身竞赛真正比拼的，是“验证机器”的吞吐和正确性。

方案

• 仿真环境的价值不应局限于“演示顺风局”

这意味着需刻意调节那些易引发系统性失效的关键参数：如图像丢帧、控制延迟、运动模糊、光照突变、短暂遮挡等等。

仿真越能有效“制造麻烦”，系统在真实环境中的鲁棒性就越强，实际部署时的意外故障也就越少。

• 缩短从问题发现到模型迭代的数据闭环周期

通过事件驱动的方式对长时序日志进行自动切片，例如提取“目标丢失阶段”“原地振荡阶段”“近距离避撞阶段”等关键事件片段，并优先将其用于模型更新与策略调优。

这种方法比单纯累积成功运行数据更能提升系统在复杂场景下的表现。

• 故障修复也需实现工程化管理：能触发，能防回归

每个已验证的缺陷都应有“最小复现脚本”或“固化测试场景”。

通过将这类场景纳入持续集成流水线，确保每次代码提交后自动执行回归测试，从而防止修复过的缺陷再次引入。

这样才能保障迭代效率不被“反复修复同一问题”所拖累，持续、稳定地推进系统成熟。

03  具身也该有自己的“后训练”

问题

在具身智能的发展过程中，为什么总“时不时地陷入两种极端”：一方推崇端到端的学习范式，另一方则坚持模块化系统工程的路径

这种分歧往往超越技术讨论本身，演变为一种近乎对立的路线之争。

原因

“基于大模型的Agent技术，与强化学习中的“后训练”（post-training）在本质上共享同一套学习范式，只是中间多了几个 tool call。”

也就是说，Agent = RL（后训练）范式 + 以“工具调用”为核心的高层动作空间。

这句话听起来像是在“降维打击”agent 热潮，但其核心指向一个更为根本的共识：

技术范式并未改变，变化的是环境复杂度与反馈链条的形态。

早期三阶段RLHF过程的示意图

无论是称为 RLHF、post-training（后训练）、agentic training（智能体训练），本质都是同一个闭环：

模型做出动作，环境给出反馈，反馈被转化为训练信号，进而使模型在后续迭代中更逼近“正确”行为。

把它搬到具身场景里，会更直白，甚至有点“苛刻”：

• 交互的不可逆性：机器人每走一步，就是一次真实交互。不是聊天里那种“错了可以撤回”，而是一步走歪了就会撞、会卡、会掉、会摔。

• 观测的非理想性：传感器反馈就是观测。但具身的观测从来不是干净的文本，而是带延迟、带噪声、带遮挡、带漂移的多模态流。智能体所“见”的世界，本身即是不完整的。

• 约束的多维性：成功 / 失败 / 安全，不再仅是奖励函数中的标量，更像一堆硬约束：不撞人、不翻车、不进危险区、不让电量见底……很多时候，能活下来比能到达更重要。

• 动作空间的扩展性：工具调用、技能调用、本体控制，本质上是动作空间的扩展。在 LLM agent 里是“调用搜索、调用计算器”；在机器人这里就是“切换技能、调用导航栈、触发抓取、调参控制器”，甚至决策“是否应暂停并环顾重新定位”。尽管“名称”不同，但共同体现“动作集的丰富化与反馈链条的延长”。

所以具身智能真正缺的，往往不是一个更酷的新词，而是一套属于自己的具身后训练体系（embodied post-training）——

让策略在真实交互里持续校准，逐步形成系统级的可靠性。

这并非追求那种“时而惊艳、时而失效”的演示性智能，而是构建一种趋近工程系统的智能特质：遇到分布外能自救，遇到遮挡能重建，遇到风险能收敛，遇到失败能把失败变成下一轮的训练数据。

换句话说，具身里的 post-training 是给系统“补上闭环。

方案

• 把交互当训练资源，尤其是失败交互

系统的真正价值往往不体现在其顺利运行的阶段，而在于其处于失效边缘时的恢复与生存能力。

最具训练价值的场景常出现在动态变化的临界时刻：例如遮挡发生后的第一秒、地面摩擦力突变的几步内、或定位开始漂移的连续数帧。

这些瞬间能够暴露系统链路的全部薄弱环节——感知置信度下降、规划犹豫不决、控制出现振荡、策略陷入混乱。

因此，“具身后训练”的首要任务并非积累更多成功轨迹，而是系统性地采集失败与临界状态下的交互序列，并将其作为高质量的训练样本与回归测试用例。

通过让系统在这些高风险场景中学习稳定策略，其性能上限未必立即提升，但系统可靠性的下限将显著巩固，而这正是可部署智能系统所必需的核心支撑。

• 定义能量化的中间指标，否则无法衡量进展

长程任务天然噪声大，一次跑通不说明强，一次翻车也不说明弱。

若仅依赖“最终成功率”进行评估，优化过程容易陷入不可复现的玄学困境：

性能提升究竟源于算法改进，还是特定场景的偶然优势？

更可靠的方法是将漫长的任务闭环拆解为具有短反馈周期的中间指标，使“系统变好”成为一个可测量、可归因的过程。

例如：遮挡后重新建立稳定航向所需时间、控制输出的振荡频率与幅度、无效探索动作的比例、为保障通行安全所增加的路径代价等。

一旦此类指标被确立，每次算法迭代便不再依赖主观的“感觉更智能”，而是能够明确回答：

具体哪一种失败模式被抑制，以及被抑制的程度如何。

这正是在工程意义上实现有效“后训练”的基础。

04  一些建议

先练一项最值钱的能力：定位 bug 

第一步不是写新模型，而是练出定位 bug 的“肌肉”。

具身的失败往往不是“效果差”，而是“哪一层开始出问题”。

你要能在很短时间内回答：是感知延迟了？时间戳乱了？控制频率漂了？地图在累积错位？还是数据分布悄悄变了？……

能快速定位，就能快速修复；能快速修复，就能快速迭代。

建一个“个人版 infra”

第二步是给自己建一个个人版 infra。

哪怕很简陋，也要三件事：

一键回放（同输入必复现）、自动评测（每次改动都跑一遍）、失败日志模板（每次失败都能结构化沉淀）。

它们的作用只有一个：把“玄学崩溃”变成“可复现 bug”，把“偶然成功”变成“可回归指标”。

用最小投入过门槛，把时间砸在差异化上

别追求面面俱到，先把“够用且可靠”的门槛过了，再把时间砸在能放大未来的差异化资产上：

比如评测体系、数据闭环、可复用工具。

最后，可用一句尖锐的提问进行自我审视：“本周我的迭代效率是否切实提升了？”

若答案是否定的，则很可能意味着当前工作仅是在流程或形式上做出了改变，而未能触及阻碍效率的根本瓶颈——

实质上只是 “以另一种形式延续了低速迭代”。

真正的进步应体现在单位时间内验证想法、修复问题、交付可靠能力的速度上。

05  总结与延伸

在深入探讨具身智能的发展路径后，一个与常见叙事相悖的现实逐渐清晰：

大模型时代的标志性突破，其关键往往并非源于某个灵光乍现的孤立创意，而在于有人构建了足够强大的系统化试错与迭代机制。

正是这种能力，使得正确的方向得以被持续验证和重复优化，直至其效能突破临界点，最终演变为定义时代的进展。

这一规律在具身智能领域同样成立并显得尤为关键。

该领域的进步无疑需要新的模型、新的策略、新的世界模型。但如果闭环不能稳定复现、无法将失败有效沉淀为可复用的测试资产、迭代速度上不去——

那么再漂亮的 idea 也将在复杂物理世界的多重约束下迅速失能，难以实现持续可靠的部署。

归根结底，在具身智能这场马拉松中，决定终点的不仅是起跑时的灵感迸发，更是持续奔跑、调整和优化的系统能力。

Ref

https://www.youtube.com/watch?v=I0DrcsDf3Os