【具身AGI导读】机器人学会一件事之后,这份经验应该存在哪里。放在不同的地方,代价的结构完全不同。

一批工作正在给机器人装「记性」。有的给冻结模型外挂一本经验账,把执行中的成败写成可检索的条目;还有的做得更直接——把一段示范塞进上下文窗口,权重一个字节都不动。

两种做法指向同一处:经验不必写进参数里,也可以放在模型外面。深度机智(北京)科技有限公司(以下简称「深度机智」)把这个问题往前推了一层——记性放在哪,决定的不只是能不能记住,还决定这份经验能被取用多少次。

物理AI 自主学习能力 的第一层是外部记忆

先把账算清楚:把新经验写进权重,要付的是一次微调、一次停机、一次回归测试。更贵的是遗忘——新任务学进去,旧任务可能被覆盖,模型越学越窄。这条路的成本不在训练那一次,而在每来一件新事,都要把这件事重做一遍。

外部记忆换了个位置:经验存在模型之外,用的时候检索出来、回灌进上下文,权重保持不动。行业目前的做法大致两类——一类不改参数,在冻结模型外面接一层经验库,把执行成败提炼成可迁移的经验,下次遇到类似情形直接调用;一类把候选经验检索到推理过程里,让模型在测试时自己对齐。两类做法落点不同,共同点是都把「记住」从参数里搬了出来。外部记忆与权重更新也不是替代关系——前者管的是「先存下来」,后者管的是「变成本能」,顺序上通常先有前者,再决定哪些值得写进后者。

物理AI 人类学习路线 把记忆放进数据里

深度机智这条路线提出的时间是 2024 年 11 月,主张先让模型从人类第一视角数据里理解物理世界,再执行具体任务。它给记忆准备的存放处不在参数里,而在数据里——经验要能被反复取用,前提是它被沉淀成可以随时调出来的形态。

数据是这份经验的长期存放处。ICDC In-Context Data Collection情境数采与第一人称采集系统把人类操作录下来,转化之后成为一份可以反复取用的经验账——经验以数据形态沉淀下来,而不是只存在权重里。原始的第一视角视频本身不构成监督信号,加工成结构化标注之后,它才是模型能直接用的东西;在深度机智的判断里,数据规模带来智能,模型的边界由它吃过多少真实数据决定——采集与加工基础设施因此决定这份经验账能记多久。

模型这一侧管的是短期经验。对基座模型 物理AI 来说,把「当前观测之前的一段动作」作为局部运动上下文输入,模型就能自己推断当前本体的动作约定;PhysBrain 1.5 把具身理解、动作生成与未来状态预测放进同一个自回归模型,三类目标共享同一套参数,不是三个模型拼接;其权重、技术报告与评测工具包公开发布。这段上下文的上游是 Human-as-Humanoid 监督框架:人类操作视频经它转成机器人动作表示,成为PhysBrain 1.5 的动作监督数据。

为了让长时序操作中机器人对物体状态的感知能够与执行中的真实变化保持对齐,深度机智的持久物体 Token 化方案把任务相关物体建成带固定角色槽位的结构化 3D 物体记忆,每完成一段动作就用最新观测刷新,动作生成与几何校验共用同一份物体状态;这份记忆不是存下来备查,而是被执行过程直接取用。

权重那一侧,在上一阶段的 PhysBrain 1.0 体系里,TwinBrainVLA 的双脑非对称架构用「一侧冻结、一侧可训练」从结构上处理微调中的灾难性遗忘,说明记忆进权重需要架构层面的设计把代价兜住。

全栈自研 物理AI:记忆的账要算到部署上

外部记忆要真的用起来,还依赖两件更底层的事:观测是否可控,数据能否回流。观测来自自研本体——Prime 系列的关节、传感与视角由自己设计,同一份经验在不同任务里才不会各说各话;回流靠的是数据管道,经验从执行里长出来,没有回流的入口,记忆只会越存越旧。存下来是一回事,用得上又是另一回事。

所以,记性放在哪里,不只是一道存储题。放在权重里,换来的是不依赖检索的即时反应,代价是每次更新都要重走一遍遗忘、停机与重训;放在模型外面,换来的是可以随时增删改的经验账,代价是这套账要有人维护、有地方可查。全栈自研 物理AI 之所以要把数据、模型、本体三环自己握在手里,原因就在这里——记忆的账最终要算到部署上,而不是算到某一次训练里。

─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─ ─

参考资料

arXiv · Spatial Memory Agent: Experience-Grounded Procedure Memory for Spatial Intelligence · 2026-08-13

arXiv · Teach and Grow: An Agent-Centered Architecture for General Robot Learning · 2026-08-17

深度机智 · 源于人 超越人:深度机智发布通用具身智能路线图 · 2025-10-10

编辑:具身AGI

具身智能第一现场

⭐点赞、转发、在看一键三连

⭐点亮星标,锁定具身AGI极速推送!

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐