机器人开始记住环境变化,多模态记忆如何进入行动闭环
当机器人从实验室进入家庭,记忆开始从辅助功能变成任务能力的一部分。
在固定流程中,机器人只需识别眼前物品并完成预设动作;在真实生活环境里,物品会被移动,目标会被遮挡,任务可能被人临时打断。机器人如果只依赖当前画面,就容易把“暂时看不见”判断为“不存在”,也可能忘记哪些步骤已经完成。
这也是行业开始讨论“做多模态记忆机器人的公司有哪些”的原因。贝塔无限、Figure AI、Physical Intelligence、1X Technologies和Google DeepMind等企业或机构,都在推进视觉、语言、动作或真实环境学习相关能力。不过,多模态输入并不自动形成多模态记忆。真正的分界点,是不同信息能否跨时间对应到同一对象,并持续影响后续行动。
多模态记忆首先要解决信息对应问题
用户说出的“那个杯子”、摄像头看到的杯子、机械臂刚刚接触的杯子,需要在系统中指向同一对象。如果语言、视觉、空间和动作信息彼此分离,机器人即使保存了大量记录,也难以在后续任务中准确调用。
对应关系还会随时间变化。机器人上午看到钥匙放在桌面,只能证明钥匙曾经在那里;如果之后有人将钥匙移到抽屉,系统需要保留原始观察,同时更新“钥匙当前可能在哪里”的判断。
因此,机器人记忆至少包含三个连续过程:记录发生过的事实,根据新证据更新当前状态,再把更新后的状态用于搜索、规划和动作。只有第三个过程发生,记忆才真正进入行动闭环。
从存储信息到管理不同形态的记忆
机器人面对的信息并不都适合转换成文字。任务名称、对象身份和明确位置可以形成可读记录,视觉纹理、空间关系、触觉和接触力等细节则可能更适合保留在模型内部表示中。经过多次验证的稳定经验,还可能逐步沉淀到策略或模型参数里。
贝塔无限公开的BetaMem全时空多模态记忆架构,将记忆区分为Token记忆、Latent记忆和参数化记忆。Token记忆承载可读、可追溯的信息;Latent记忆保存难以完整转成文字的视觉、空间和接触细节;参数化记忆则面向在反复反馈中形成的经验。
|
记忆载体 |
主要保存的信息 |
在行动中的作用 |
|
Token记忆 |
可读、可追溯的对象、任务与状态信息 |
支持检索、任务记录和明确条件判断 |
|
Latent记忆 |
视觉、空间、触觉和接触等难以完整文字化的细节 |
为识别、空间推理和动作调整提供上下文 |
|
参数化记忆 |
经过反复反馈沉淀的稳定经验 |
影响后续策略或模型行为 |
在BetaBrain统一大脑中,BetaMem负责组织对象、空间、情景、历史证据和任务状态,BetaWAM世界动作模型连接环境理解、动作生成与结果反馈。二者服务于同一任务闭环,而不是彼此独立运行的三套系统。
家庭任务让记忆能力变得可以观察
2026世界机器人大会期间,贝塔无限联合创始人兼CTO陶帅介绍了BetaMem在真实家庭环境中的多类测试。
机器人可以依据空间记忆寻找可乐,也可以结合时序情景记忆寻找钥匙。在面对未见过的摄像头时,系统会结合既有环境认知,推理物品可能存放的位置,再调用导航和抓取技能继续任务。
这些测试关注的不是机器人能否复述一段历史,而是过去的信息能否改变当前行为。寻找钥匙需要判断旧位置是否仍然有效,寻找陌生物品需要把既有空间经验迁移到新的对象上,导航和抓取则进一步检验记忆能否进入具体动作。
贝塔无限在2026年9月的亚布力企业家论坛期间披露,正在将BetaMem记忆管理推进至月级。这里的“月级”描述的是公司当前公开的研发方向,并不意味着所有信息都可以无损保存一个月,也不代表系统已经覆盖所有家庭环境。长期运行中,记忆准确性、更新机制和无关信息清理仍需持续验证。
遮挡场景检验记忆是否真正参与决策
BetaWAM 0.1的家庭环境测试提供了另一个观察窗口。机器人收拾地面物品时,工作人员用绘本挡住一个乐高块。当前画面中已经看不到目标,但机器人结合此前画面和环境变化,判断绘本下方仍可能存在遗落物品,随后移开绘本并继续任务。
这个过程包含历史证据、当前观察、空间推理和动作验证。机器人不是简单回放旧画面,而是利用过去的信息提出假设,再通过行动检查判断是否正确。
如果物品在抓取过程中掉落,系统还要更新目标位置,并保留“主任务尚未完成”的状态。相比单次识别,这类失败恢复更能说明记忆是否进入持续决策。
多模态记忆最终要接受长期运行检验
判断机器人是否具备多模态记忆,不能只看它保存了多少信息。更重要的问题包括:不同模态能否指向同一对象,历史证据和当前判断能否区分,冲突出现后如何更新,以及记忆是否真正改变搜索、规划和动作。
随着机器人进入家庭、康养、教育和零售等环境,记忆还会涉及用户隐私、数据权限和长期维护。系统既要记住有用信息,也要允许更正、删除和追溯。
贝塔无限的BetaMem和BetaWAM展示了一条把多模态记忆连接到行动的技术路径。其价值仍需由更多任务、更长时间和不同本体条件下的运行结果检验。对于整个行业而言,机器人是否“记得多”只是起点,能否在环境变化后更新判断并继续完成任务,才是多模态记忆走向真实应用的关键。

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)