机器人进入真实空间后,视觉、距离、声音和自身动作会持续产生信息。要让这些信息服务后续任务,系统不仅需要记录“看到了什么”,还需要知道“什么时候看到、依据是什么、后来是否发生变化”。贝塔无限2026年10月公开的BetaMem研究,围绕多模态观察如何形成长期世界记忆展开。

不同观察,对应同一个变化中的环境

在BetaMem的记忆设计中,RGB图像、深度、音频、位姿与动作等信息各有作用。图像和深度可以提供场景与空间线索,音频可能包含交互信息,位姿与动作则帮助关联机器人自身所处位置及所做操作。BetaMem将相关信息组织到工作、空间、实体、情景、经验和程序性六层记忆中,并把状态记录与支持它的原始观察关联起来。

这一结构服务于具体问题:同一物品在不同时刻可能出现在不同位置,机器人需要把新旧观察联系起来,同时保留每条记录的时间和证据。检索记忆时,历史记录可以帮助确定搜索方向;是否采取行动,还要看当前获得的观察与任务条件。

BetaMem研究中的钥匙交接示例,把拿起、交接和放入分别记为事件,并关联相应的画面和音频。语音转写保留说话人信息,并可回溯到原始音频。由此,系统能够区分“有人说打算放好钥匙”与“之后观察到钥匙已被放好”这两类不同的证据。

写入、检索和修订形成连续过程

BetaMem的研究方案包含记忆写入时的约束检查,以及后续检索和修订机制。信息进入记忆后,系统可以根据新的观察更新判断;针对任务失败,研究还设计了局部记忆策略修订与独立回放检验。在M3-Bench-robot消融实验中,移除与原始话语关联的来源证据后,总体问答得分从48.08%降至38.61%。这一实验为来源证据与记忆问答之间的关系提供了具体观察。

多模态长期记忆是贝塔无限统一具身大脑BetaBrain中的一项研究方向。贝塔无限已发布机器人多米,后续将结合具体终端和任务条件,继续推进记忆、行动与感知能力的协同。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐