文章目录


前言

在前面的 Agent Memory 系列里,我们关注过很多“怎样记”的问题:A-MEM 讨论如何让记忆条目形成可演化的关联结构,MAGMA 试图把记忆拆成更清晰的层次,CoM 强调对历史经验的压缩与组织,ReMemR1 让 Agent 在写入新记忆时主动回看旧记忆,Mem²Evolve 则进一步把记忆系统本身的更新纳入持续演化过程。

这些工作共同推动了一个趋势:Agent 的记忆不再等同于把对话原文塞进向量库,而是逐渐拥有选择、重组、修订和调用经验的能力。

但当我们真正想比较两套记忆系统时,问题反而变得困难:检索到相关文本,是否就代表 Agent 真正记住了?

很多现有基准仍然采用问答范式。系统读完历史后回答“某人喜欢什么”“上次任务在哪里失败”“哪条规则发生了变化”。这种评测很适合测事实召回,却很难覆盖具身 Agent 更关键的责任:记忆必须改变下一步行动,并最终改变环境状态。

在航天任务中,这个差异尤其致命。Agent 可能准确复述“供给管线 H1 已连接 P02”,但在回收管线时仍然断错接口;也可能记得剩余能源数值,却没有为后续窗口预留能源;还可能检索到一条旧经验,却忽略后来对这条经验的修订。文本答案看似正确,真实执行却可能造成资源浪费、设备损坏甚至安全事故。

AstroMemBench 就是从这个缺口出发。它没有再设计一种新的记忆结构,而是提出一套面向具身航天 Agent 的可执行记忆评测:给 Agent 30 轮、约 7 万 token 的历史,让当前任务只能依赖其中的指令、状态、经验或约束才能正确完成;Agent 通过工具作用于确定性环境,环境根据任务完成度、最终状态、安全性和资源消耗直接计分。

因此,这篇论文的唯一核心增量可以概括为:

AstroMemBench 通过 Scenario–Challenge–Capability 三维构造方法,把航天长期记忆需求系统化地转化为历史依赖的具身任务,并用可执行环境中的行动后果,而不是文本相似度或问答准确率,评估记忆系统。

这个转变很重要。它把问题从“记忆模块能否找回一句话”,推进到了“Agent 能否让正确的历史证据在正确时刻改变决策”。

零、论文基本信息

  • 论文名称:AstroMemBench: A Benchmark for Memory Systems in Embodied Spacecraft Agents
  • 发表平台:arXiv 预印本,arXiv:2611.16590,2026 年 11 月
  • 代码仓库:flyingView/AstroMemBench-v1
  • 作者:You Wu、Guhong Zhang、Hongwei Li、Xinyue Hong、Yuan Jia

一、为什么现有 Agent Memory 评测还不够

1. 从“记忆问答”到“记忆指导行动”

传统长时记忆基准通常把记忆能力写成一个条件生成问题:给定历史 H H H 和当前问题 q q q,系统生成答案 a a a。

a = f ( H , q ) a=f(H,q) a=f(H,q)

这种形式隐含了一个假设:只要答案包含正确事实,就说明记忆有效。但具身 Agent 的真实目标不是输出一句描述,而是在环境状态 s t s_t st​ 下选择动作 a t a_t at​,并让状态转移到正确结果:

a t = π ( s t , M ( H ) ) , s t + 1 = T ( s t , a t ) a_t=\pi(s_t,M(H)),\qquad s_{t+1}=\mathcal{T}(s_t,a_t) at​=π(st​,M(H)),st+1​=T(st​,at​)

其中, M ( H ) M(H) M(H) 是记忆系统从历史中保存或检索出的信息, π \pi π 是 Agent 的决策策略, T \mathcal{T} T 是环境状态转移。

真正需要评测的不是 M ( H ) M(H) M(H) 与标准答案文本有多相似,而是最终轨迹是否完成任务:

S = R ( s 0 , a 0 : T , s T ) S=\mathcal{R}(s_0,a_{0:T},s_T) S=R(s0​,a0:T​,sT​)

这里的 S S S 同时反映任务是否完成、设备状态是否正确、是否违反安全前置条件,以及是否浪费能源或计算资源。

2. 当前观察相同,正确动作仍可能不同

AstroMemBench 最有辨识力的设计,是构造历史对照实例:两个实例的当前请求和当前可见观察可以完全相同,30 轮历史中有 29 轮也相同,只改变一条决定性历史事件。

例如,当前任务都是“开始回收 H1 供给管线”,当前面板都只显示泵已关闭、系统已隔离和减压。实例 A 的历史表明 H1 最后连接在 P02,实例 B 则表明它最后连接在 P05。当前观察无法区分二者,Agent 必须恢复历史状态,才能选择正确的断开动作。

这类成对设计排除了一个常见捷径:模型不能仅靠当前提示、任务常识或语言模式猜答案。正确行为必须来自历史。

3. 航天任务为什么适合作为记忆压力测试

航天任务同时具有四类特征:

  • 通信时延使 Agent 不能总是向人类即时确认;
  • 任务链很长,旧指令可能隔很久才真正生效;
  • 环境状态持续变化,记忆必须能被更新而不是永久固化;
  • 能源、计算、下行窗口和设备寿命都有严格预算。

这意味着“相关”并不等于“可用”。一条记忆还必须满足时间有效性、适用条件、状态一致性和安全约束。

二、相关工作:AstroMemBench 位于哪里

1. 长上下文不是长期记忆的同义词

长上下文模型可以把大量历史保留在当前窗口中,但它解决的是“输入能否放下”,不保证“关键状态能否被识别、更新并用于行动”。当无关背景增多、证据分散或状态多次覆盖时,模型仍会出现注意力稀释、位置偏差和旧值干扰。

论文的实验也证明了这一点:同一会话中,原生 Pi 仍能直接访问历史,平均分达到 78.20;会话重启后,原始上下文消失,平均分骤降到 21.03。长上下文提供的是脆弱的会话内连续性,而不是独立、持久的记忆能力。

2. RAG 解决“找得到”,但不天然解决“状态演化”

RAG 把历史切分、向量化并按当前查询检索。它适合找回指令、结果和明确事实,却不天然维护实体的最新状态。例如 H1 先连接 P01,随后断开,再连接 P02;如果三个片段都被召回,最终状态仍需要 Agent 自己推理。

因此,AstroMemBench 不只设置事实召回,还加入单操作状态、多操作状态、经验修订、能源预留和故障恢复,专门测试“检索相关片段”与“恢复可行动状态”之间的差距。

3. 结构化记忆系统需要统一、可执行的比较尺度

Mem0、CoM、LightMem 等系统对历史进行抽取、压缩、组织或更新。它们各自的记忆表示不同,仅比较召回率很难公平:一个系统保存完整原句,另一个系统保存结构化摘要,两者未必能用同一个文本相似度指标衡量。

AstroMemBench 让不同系统最终都面对同一个环境、工具集合和计分器。无论内部记忆是向量条目、压缩摘要还是关联结构,只要能帮助 Agent 做对动作,就会反映在分数上。

4. 与一般具身基准的区别

已有具身 Agent 基准通常强调导航、操作、规划或视觉感知,但当前任务所需信息大多存在于即时观察中。AstroMemBench 则把“当前观察不足”作为设计前提:关键证据被放进历史,且可能被后续事件覆盖或修订。

所以它评测的不是单独的具身能力,而是记忆与具身能力之间的接口。

三、AstroMemBench 方法总览

在这里插入图片描述

Figure 1:AstroMemBench 总览。 上半部分展示约 7 万 token 的 30 轮历史如何经过记忆系统影响当前动作,并由确定性环境按执行结果计分;下半部分展示 Scenario–Challenge–Capability 三维构造框架,以及 2,240 个实例的来源。

Figure 1 应该放在方法总览开头,因为它同时说明了这篇论文的两个关键点:评测对象是“记忆指导下的任务执行”,数据集则不是零散编写,而是从场景、记忆挑战和执行能力三条轴系统生成。

每个评测实例可以写成:

x = ( H , q , o 0 , A , T , R ) x=(H,q,o_0,\mathcal{A},\mathcal{T},\mathcal{R}) x=(H,q,o0​,A,T,R)

其中:

  • H H H 是 30 轮交互历史;
  • q q q 是当前任务;
  • o 0 o_0 o0​ 是当前环境观察;
  • A \mathcal{A} A 是允许调用的工具或动作集合;
  • T \mathcal{T} T 是确定性环境转移;
  • R \mathcal{R} R 是任务计分函数。

Agent 读取历史或持久记忆后调用工具。环境不判断回答“像不像标准答案”,而是执行动作、更新状态,并计算 0 到 100 的分数。

四、SCC:从航天需求到可执行任务

1. Scenario:三类任务域、九种任务

场景维度覆盖三类航天活动:

场景域具体任务
行星表面作业区域勘测、样本采集、货物运输
在轨服务目标检查、设备维修、物资补给
深空探测巡航支持、科学观测、数据回传

场景维度。 九种任务让同一种记忆挑战在不同物理对象、工具和任务流程中出现,减少系统对固定措辞或单一环境的过拟合。

2. Challenge:六大类、十六个记忆子挑战

作者从 ESA 对自主航天任务的挑战分类出发,将其细化为 16 个能被独立测试的记忆子挑战。

类别编号子挑战实际测试内容
通信延迟C1Instruction retention长时间后执行早先指令
通信延迟C2Rule disambiguation在多条相似规则中使用适用规则
通信延迟C3Downlink confirmation记住数据是否已确认下行
时间关键T1Validity assessment判断历史信息是否仍在有效期内
时间关键T2Deferred tasks在触发条件满足时恢复延期任务
环境不确定性E1Experience matching匹配可迁移的历史经验
环境不确定性E2Experience revision使用修订后的经验而不是旧经验
环境不确定性E3Localization recovery从历史恢复定位信息
复杂物理交互I1Single-operation state追踪单次操作导致的状态
复杂物理交互I2Multi-operation state合并多次操作恢复最终状态
资源约束R1Energy-use experience利用历史能耗经验规划
资源约束R2Energy reservation为后续任务预留能源
资源约束R3Result reuse复用已有计算或观测结果
安全可靠性S1Safety prerequisites恢复操作前置安全条件
安全可靠性S2Capability updates记住设备能力的更新
安全可靠性S3Fault recovery复用经过验证的故障恢复经验

十六类记忆挑战。 它们覆盖事实、规则、时间、状态、经验、资源和安全,避免把“记忆”缩减为单纯的事实检索。

这套分类最有价值的地方,是把记忆错误与任务风险对齐。例如 C1 遗忘指令会导致任务偏离,I2 状态合并错误会作用于错误对象,R2 忘记预留会使后续关键任务无能源可用,S1 则可能直接造成不安全操作。

3. Capability:记忆最终要服务的十类能力

能力维度包括:感知与解释、空间导航、观测获取、机械操作、运行控制、设备配置、数据处理、通信、任务规划和资源分配。

作者没有假设每个模板只依赖一种能力,而是允许一个模板关联 1 到 5 种能力。最终 140 个模板形成 285 条“模板—能力”关联。

在这里插入图片描述

Figure 2:SCC 覆盖与能力关联。 底部矩阵表示九个场景任务与十六个子挑战的覆盖关系;上方十个能力平面显示每个场景—挑战模板需要调用哪些执行能力。

Figure 2 应放在 SCC 三个维度介绍之后。它支持的结论不是“样本很多”,而是模板同时覆盖记忆挑战与具身执行能力;四个阴影组合因实际不适用被排除,其余 9 × 16 − 4 = 140 9\times16-4=140 9×16−4=140 个组合全部覆盖。

4. 从 140 个模板扩展为 2,240 个实例

每个模板生成 16 个实例,其中简单 6 个、中等 6 个、困难 4 个:

140 × 16 = 2240 140\times16=2240 140×16=2240

因此,数据集中包含 840 个简单实例、840 个中等实例和 560 个困难实例。难度不是简单按文本长度划分,而是通过证据位置、干扰项数量、状态更新链长度和动作组合复杂度控制。

五、实例是怎样构造出来的

1. 30 轮历史与约 7 万 token 背景

每个实例包含 30 个顺序历史回合,总长度控制在 69,850 到 70,150 token 左右。历史材料来自 513 份经过审核的合成航天运行记录。大量背景不是为了单纯“塞满窗口”,而是制造接近运行日志的证据密度:决定当前行动的那条信息可能只占很小比例。

其中 32 个实例使用 NASA 图像构成视觉任务,其余实例以文本和结构化环境交互为主。作者对 2,208 个非视觉实例进行程序化状态重建,对 32 个视觉实例人工验证,2,240 个参考动作都能获得满分。

2. 成对实例隔离记忆因果作用

如果只观察单个任务得分,我们很难判断 Agent 是靠记忆、常识还是猜测完成任务。为此,论文使用最小差异的成对实例:

H ( a ) = H 1 : 29 ∪ { h 30 ( a ) } , H ( b ) = H 1 : 29 ∪ { h 30 ( b ) } H^{(a)}=H_{1:29}\cup\{h_{30}^{(a)}\},\qquad H^{(b)}=H_{1:29}\cup\{h_{30}^{(b)}\} H(a)=H1:29​∪{h30(a)​},H(b)=H1:29​∪{h30(b)​}

当前任务 q q q 和观察 o o o 保持一致,但决定性历史事件不同,因此:

a ∗ ( a ) ≠ a ∗ ( b ) a^{*(a)}\neq a^{*(b)} a∗(a)=a∗(b)

只有能够区分历史的系统,才可能在两个实例中都做对。这比单独问“最后连接在哪个端口”更严格,因为 Agent 必须把记忆转化为工具动作。

3. 确定性环境为什么重要

如果环境本身具有随机性,一次失败可能来自控制噪声而非记忆错误。AstroMemBench 采用确定性状态转移:相同初始状态和动作序列始终得到相同结果。

s t + 1 = T ( s t , a t ) s_{t+1}=\mathcal{T}(s_t,a_t) st+1​=T(st​,at​)

这样,系统间得分差异更容易归因于记忆和决策,而不是环境随机性。

4. 分数不是只有“成功/失败”

不同任务使用面向后果的计分规则。以资源类任务 FM-R1-P3 为例,任务未完成时得分为 0;完成后,根据实际能耗 E E E 与最低可行能耗 E min ⁡ E_{\min} Emin​ 的比值计分,并对违规行为 b b b 和额外危险操作 h h h 扣分:

s = max ⁡ { 0 , 100 min ⁡ ( 1 , E min ⁡ E ) − 25 b − 15 h } s=\max\left\{0,100\min\left(1,\frac{E_{\min}}{E}\right)-25b-15h\right\} s=max{0,100min(1,EEmin​​)−25b−15h}

另一个结果复用任务 FM-R3-O2 中,首次计算消耗 300 单位能源,后续每次重复请求再消耗 30。直接复用历史结果可得 100 分,重复请求一次得 90 分,两次得 80 分,三次得 70 分。

这体现了基准的价值:Agent 即使最终给出正确结果,如果忘记已完成的计算而反复调用昂贵工具,也会被判定为记忆系统不够好。

六、实验设置

1. 被比较的系统

系统作用
Pi不额外接入记忆模块的 Agent 基线
Pi + RAG对历史进行向量检索并注入相关片段
Pi + Mem0使用 Mem0 开源记忆系统抽取、更新与检索记忆
Pi + CoM使用 Chain-of-Memory 风格的压缩与组织机制
Pi + LightMem使用轻量长期记忆模块
SpaceMind完整航天 Agent 架构参考,使用其原生配置

比较系统。 前五项尽量共享 Pi 执行框架,便于观察记忆模块本身的影响;SpaceMind 是完整系统而非同骨干替换,因此只能作为架构参考,不能做严格等变量结论。

Pi 版本为 0.99.2,Mem0 使用 JavaScript 开源版 3.3.1。推理模型统一采用 GLM-5.3-Flash,向量模型为 Qwen3-VL-Embedding-2B,嵌入维度 2,048,温度为 0,推理强度设为 low。

2. 两种会话条件

同会话

当前任务与历史写入处于同一个会话。即使外部记忆检索不完美,Agent 仍可能直接利用上下文中的原始历史。主实验采用 128K 上下文,并允许 Pi 的原生压缩机制处理长历史。

新会话

历史写入完成后重启会话,当前任务只能依靠持久化记忆。主实验使用 262K 窗口,但原始历史不再直接可见。

这两个条件分别回答:

  • 记忆模块能否在原始上下文仍可见时提供增益?
  • 当上下文消失后,记忆是否真的能跨会话保存并恢复?

3. 指标

论文报告平均任务分、满分率、总生成 token 和单位 token 效率。相对 Pi 基线的“剩余提升空间归一化增益”为:

G = M − B 100 − B × 100 % G=\frac{M-B}{100-B}\times100\% G=100−BM−B​×100%

其中 B B B 是 Pi 平均分, M M M 是接入记忆后的平均分。这个指标比直接看绝对提升更合理:当基线已经达到 90 分时,提升 5 分意味着填补了一半剩余空间;当基线只有 20 分时,提升 5 分的意义较小。

效率定义为每 10 亿生成 token 获得的分数:

E = 10 9 S T E=\frac{10^9S}{T} E=T109S​

置信区间通过 10,000 次 bootstrap 得到,随机种子为 1729。重采样单位是 140 个模板下的 2,089 个构造组,并在成对条件之间同步抽样,以保留实例相关性。

七、主实验结果

1. 总体结果

会话系统平均分(95% CI)满分率归一化增益总 token(M)效率
同会话 128KPi78.20 [76.80, 79.57]69.82%0.00%2721.5828.73
同会话 128KRAG82.74 [81.45, 83.99]75.71%20.82%3089.9926.78
同会话 128KMem081.70 [80.38, 82.99]74.60%16.07%3982.6920.51
同会话 128KCoM82.07 [80.79, 83.34]74.64%17.75%3585.6422.89
同会话 128KLightMem79.59 [78.17, 80.96]71.38%6.38%3077.3625.86
同会话 128KSpaceMind44.10 [42.50, 45.68]32.77%-156.41%1945.1622.67
新会话 262KPi21.03 [19.85, 22.26]11.74%0.00%2744.227.66
新会话 262KRAG53.03 [51.47, 54.59]43.48%40.53%3359.7715.78
新会话 262KMem065.28 [63.66, 66.88]55.45%56.03%4119.7715.85
新会话 262KCoM52.32 [50.68, 53.97]42.99%39.62%3926.3213.32
新会话 262KLightMem30.00 [28.57, 31.37]20.58%11.36%3156.119.51
新会话 262KSpaceMind20.49 [19.36, 21.60]10.71%-0.68%1842.5411.12

Table 9:主实验结果。 同会话中 RAG 以 82.74 获得最高均分;新会话中 Mem0 以 65.28 明显领先,并将 Pi 的 21.03 提升 44.25 分。

2. 同会话:简单 RAG 已经很强

同会话中,RAG 的 82.74 高于 Mem0 的 81.70 和 CoM 的 82.07。三者置信区间高度重叠,不能得出复杂记忆系统明显优于 RAG 的结论。

原因并不神秘:原始历史仍在上下文中,Agent 可以同时利用上下文、原生压缩和检索片段。此时记忆模块的主要作用只是重新强调相关证据。复杂的抽取和更新流程不仅没有形成明确优势,还消耗更多 token:Mem0 使用 3,982.69M token,比 RAG 多约 29%。

这给 Agent Memory 研究一个很现实的提醒:如果任务始终处在同一会话,且历史可以被长上下文容纳,那么结构更复杂并不自动等于效果更好。强检索基线必须保留。

3. 新会话:持久化能力才真正拉开差距

会话重启后,Pi 从 78.20 降到 21.03,说明它在同会话中的高分大部分依赖原始上下文。RAG 恢复到 53.03,Mem0 达到 65.28。

Mem0 比 RAG 高 12.25 分,置信区间为 [10.09, 14.37];满分率也从 43.48% 提高到 55.45%。这说明跨会话时,仅保存可检索片段还不够,记忆的抽取、合并和更新开始体现价值。

不过,即使最佳 Mem0 也只有 65.28,仍有超过三分之一的得分空间没有填补。AstroMemBench 并没有证明长期记忆已经解决,反而更清楚地暴露了问题。

4. SpaceMind 为什么表现低

SpaceMind 的结果不能简单解释为“航天 Agent 架构无效”。它使用完整原生系统,最大只有 3 轮 ReAct,每轮只能调用一个工具,单次生成预算 1,024 token;Pi 则允许更长的 16,384 token 生成,并保留更丰富的历史处理能力。SpaceMind 只详细保存最近 8 轮,更早历史被截断。

因此,这一行更多说明:在长历史、多步工具调用和严格动作序列下,原生预算较小的完整系统会受到执行上限限制。它不是与 Pi+记忆模块的严格等变量比较。

八、不同记忆挑战上的表现

在这里插入图片描述

Figure 3:不同记忆系统相对 Pi 的子挑战增益。 左侧为同会话,右侧为新会话;颜色和数字表示各系统相对 Pi 的平均分差。

Figure 3 应放在总体结果之后,因为总体均分只告诉我们“谁更高”,这张图才揭示每个系统“擅长记什么”。

1. Mem0 最擅长指令保持与故障恢复

新会话下,Mem0 在 C1 指令保持上比 Pi 高 69.5 分,在 E3 定位恢复上高 65.6 分,在 S3 故障恢复上高 62.5 分。这些任务的共同点是:历史中存在一条相对明确、可独立表达的决定性事实或程序,适合被抽取成持久记忆条目。

C1 的绝对分数最能说明问题:Pi 为 16.10,RAG 为 33.67,Mem0 达到 85.58。Mem0 能把早期指令抽取并长期保留,而不是依赖当前会话上下文。

2. CoM 在经验修订上有局部优势

E2 经验修订要求系统不仅找到旧经验,还要识别后续修正。新会话中 RAG 得 58.55,Mem0 得 78.13,CoM 得 69.64。虽然 Mem0 仍最高,但 CoM 相比自己在多数项目上的表现,在修订型任务中更有竞争力。

这说明压缩链或结构化组织的价值不一定体现在总体均分,而可能体现在“旧结论被新证据推翻”这种冲突处理任务中。

3. 状态追踪和能源预留仍是共同短板

新会话 I2 多操作状态中,最好的是 CoM 49.94,Mem0 46.62,RAG 39.91;R2 能源预留中,RAG 40.63、Mem0 40.28、CoM 30.27。它们明显低于指令保持或结果复用。

原因在于这两类任务不是找回一条事实,而是需要执行状态更新:

s t = U ( s t − 1 , e t ) s_t=U(s_{t-1},e_t) st​=U(st−1​,et​)

其中不同事件可能覆盖、撤销或部分修改旧状态。以片段为中心的记忆系统容易保存多个局部真相,却没有一个显式状态机保证最终状态一致。

能源预留还需要把未来任务纳入当前决策。它不是“记得剩余电量”这么简单,而是要计算:

E available − E current ≥ E reserved E_{\text{available}}-E_{\text{current}}\ge E_{\text{reserved}} Eavailable​−Ecurrent​≥Ereserved​

现有记忆系统大多擅长过去事实的被动召回,不擅长把记忆转化为前瞻资源约束。

4. 结果复用比持续状态维护更容易

R3 新会话中,RAG、Mem0、CoM 分别达到 73.23、75.17、73.14;而 I2 最好不到 50。这说明当前系统更擅长“历史里已经有一个完整结果,把它找回来”,不擅长“历史里有多次变化,把它们合并成当前状态”。

这也是论文最重要的诊断之一:多数 Agent Memory 仍然带有明显的事实中心和检索中心偏置。

九、消融实验

1. 九组条件控制了什么

消融实验设置 A 到 I 九组条件,分别改变会话连续性、是否有背景噪声、上下文窗口、RAG 与 Mem0。每组 2,240 个实例,共 20,160 次评分。

在这里插入图片描述

Figure 4:会话、背景与记忆模块的消融诊断。 左侧比较干净历史下同会话与新会话的 Pi、RAG、Mem0;右侧比较 Pi 在背景历史、不同窗口和不同会话条件下的子挑战得分。

2. 会话连续性是最大的隐藏变量

对比含义分差(95% CI)
A − B干净历史:同会话 − 新会话+62.02 [60.45, 63.58]
C − D背景历史:同会话 − 新会话+53.88 [52.13, 55.55]
F − GMem0:同会话 − 新会话+11.85 [10.19, 13.50]
H − IRAG:同会话 − 新会话+29.20 [27.38, 30.98]

会话连续性消融。 原生 Pi 的会话差距超过 60 分;Mem0 将差距压缩到 11.85,说明它真正保存了跨会话信息,但仍未完全消除会话依赖。

在固定的干净历史和 262K 窗口下,Pi 同会话为 83.12,新会话为 21.10;RAG 分别为 88.63 和 59.43;Mem0 分别为 87.56 和 75.71。

这个消融比主实验的直接同/新会话对比更可信,因为主实验的上下文窗口不同。它证明性能下降确实主要来自会话重启,而不是 128K 与 262K 的窗口差异。

3. 同会话中 Mem0 与 RAG没有明确差异

对比分差(95% CI)
F − A:Mem0 对 Pi,同会话+4.43 [3.02, 5.89]
H − A:RAG 对 Pi,同会话+5.50 [4.05, 6.92]
F − H:Mem0 对 RAG,同会话-1.07 [-2.44, 0.34]
G − B:Mem0 对 Pi,新会话+54.61 [52.85, 56.33]
I − B:RAG 对 Pi,新会话+38.33 [36.49, 40.14]
G − I:Mem0 对 RAG,新会话+16.28 [14.32, 18.26]

记忆模块消融。 同会话中 Mem0 与 RAG 的差异跨过 0,不能认为 Mem0 更好;新会话中 Mem0 的优势达到 16.28 分,持久化与更新能力只有在原始上下文消失后才充分显现。

4. 背景噪声的影响不是均匀的

Pi 在同会话干净历史与背景历史之间相差 8.97 分;新会话只相差 0.82,后者置信区间跨过 0。原因是新会话 Pi 本来就看不到原始历史,背景是否存在影响很小。

更有意思的是,128K 原生压缩相对 262K 完整上下文总体提高 3.54 分,但子挑战方向并不一致:C3 下行确认提高 28.65,R3 结果复用提高 8.88;I2 多操作状态下降 9.02,R2 能源预留下滑 6.22。

这说明上下文压缩具有选择性偏差。它可能成功保留孤立事实和完成结果,却丢失状态链与资源约束。只看总体均分会掩盖这种结构性损失。

十、失败案例与反例

1. 找到旧经验,却没有找到修订

在 E2 中,检索器可能把语义相似度最高的首次经验排在前面,而后续修订因为措辞不同没有进入 Top-k。Agent 看似“使用了记忆”,实际使用的是已失效记忆。

这说明记忆条目需要版本、有效区间和替代关系,而不仅是时间戳。

2. 多条局部正确记忆合成错误状态

I2 中,历史片段“设备已开启”“设备已重置”“设备切换到备用模式”都可能单独正确,但只有按时间和状态转移顺序组合,才能得到当前状态。普通向量检索返回的是证据集合,不保证集合可执行地一致。

3. 记得资源事实,却没有把它变成约束

R2 中,Agent 可能准确检索未来任务需要 40 单位能源,也知道当前只剩 70,但仍为当前非关键任务消耗 40。问题不是事实缺失,而是记忆没有进入规划器的约束层。

4. 同会话高分造成“伪长期记忆”

一个系统可能在同会话中表现很好,却只是让基础模型重新读取原始历史。Pi 从同会话 78.20 到新会话 21.03 的落差,就是最直接的反例。任何声称“长期记忆有效”的系统,都应该报告会话重启后的表现。

十一、与既有 Agent Memory 方法的横向比较

方法核心问题主要记忆形态AstroMemBench 能检验什么
A-MEM记忆如何形成关联并演化原子记忆与动态链接关联是否真的帮助恢复任务相关状态
MAGMA记忆如何分层组织多粒度、多层记忆不同层级能否支持规则、状态与资源约束
CoM如何压缩和串联历史压缩记忆链面对修订与长证据链时是否保留决定性信息
ReMemR1写入时如何主动回看旧记忆可回访记忆更新回访能否减少旧状态覆盖与经验冲突
Mem²Evolve记忆系统如何持续自我更新可演化记忆策略演化是否提升跨会话执行而非仅提升问答召回
LinEra如何保持时间与时代边界时间敏感记忆是否能判断有效期、替代关系与当前状态
CLAM如何把长期记忆用于行动行动导向记忆记忆是否真正改变工具轨迹和环境结果
DISCERN如何诊断记忆系统内部能力细粒度诊断维度可与 SCC 子挑战形成互补诊断
AstroMemBench如何评价具身 Agent 的长期记忆可执行历史依赖任务用任务、状态、安全和资源后果统一评分

横向比较。 前述方法主要回答“怎样构造记忆”,AstroMemBench 回答“怎样证明这套记忆在行动中有效”。它不是替代这些方法,而是为它们提供更严格的外部检验。

AstroMemBench 对记忆方法研究提出了三项额外要求。

第一,必须区分同会话利用和跨会话持久化。第二,必须同时报告事实型任务与状态型任务,避免用容易的结果复用掩盖困难的状态维护。第三,最终指标应该包含行动代价和安全后果,而不是只看回答内容。

十二、对 Coding Agent、Tool Agent 与 Multi-Agent 的启发

1. Coding Agent:把仓库状态当成可演化实体

Coding Agent 的历史中也存在类似 I2 的多操作状态:文件被修改、测试失败、依赖升级、用户又撤回部分要求。简单检索“最近提到的文件”不够,系统需要维护可验证的仓库状态:

S t = U ( S t − 1 , patch t , test t , user correction t ) S_t=U(S_{t-1},\text{patch}_t,\text{test}_t,\text{user correction}_t) St​=U(St−1​,patcht​,testt​,user correctiont​)

可以借鉴 AstroMemBench 构造“当前 issue 相同、历史 patch 不同”的成对任务,检查 Agent 是否会针对真实仓库状态选择不同修复,而不是机械复用旧方案。

2. Tool Agent:用副作用和成本评估记忆

工具 Agent 的记忆不应只以“检索到正确 API 文档”评估,还应看它是否避免重复付费调用、是否记住已创建资源、是否遵守先决条件。对应 R3 的结果复用,可以设计:历史中已经完成一次昂贵查询,当前任务应直接复用结果;重复调用虽然得到正确答案,也要扣除成本分。

3. Multi-Agent:共享记忆需要来源与版本

多 Agent 系统中,某个 Agent 写入的状态可能后来被另一个 Agent 更新。若共享记忆只按相似度检索,旧状态很容易重新出现。应至少保存:

  • 记忆来源 Agent;
  • 观察时间与生效时间;
  • 被哪条新记忆替代;
  • 证据可靠度;
  • 对哪些计划和资源约束产生影响。

AstroMemBench 的经验修订、下行确认和多操作状态,可以直接迁移为多 Agent 共享黑板的测试模板。

4. 建议的记忆—规划接口

实验表明,仅把检索结果拼接进 prompt 很难解决状态和资源问题。工程上可以把记忆输出分成三类:

M t = ( F t , S t , C t ) M_t=(F_t,S_t,C_t) Mt​=(Ft​,St​,Ct​)

其中 F t F_t Ft​ 是事实和经验, S t S_t St​ 是当前实体状态, C t C_t Ct​ 是必须进入规划器的硬约束。规划阶段不只读取自然语言记忆,还要显式验证动作是否满足 C t C_t Ct​。

十三、论文的局限性

1. 合成任务不等于真实航天运行

虽然模板来源于航天任务需求,环境也有明确状态和资源模型,但数据仍是合成的。真实航天器存在传感器噪声、通信丢包、执行器误差、设备退化和无法预先枚举的故障。确定性环境提高了诊断性,也牺牲了一部分现实复杂度。

2. 30 轮历史仍是有限长期性

约 7 万 token 足以制造长上下文压力,但真实任务可能持续数月甚至数年,涉及数万次事件、周期性维护和跨任务知识迁移。当前基准测试的是“长历史依赖”,还不是完整的终身学习。

3. 主实验的同/新会话窗口不同

主实验同会话使用 128K,新会话使用 262K,不能仅用两行结果直接把所有差异归因于会话重启。作者通过固定 262K 的消融弥补了这个问题,但读主表时仍需注意。

4. 单一基础模型限制了外推性

实验主要使用 GLM-5.3-Flash。不同模型的长上下文能力、工具使用习惯和指令遵循差异很大,Mem0 对 RAG 的优势不一定按相同比例迁移到其他模型。

5. 完整系统比较并不完全公平

SpaceMind 的工具轮数、生成预算和历史保留策略与 Pi 不同。它的低分混合了记忆、规划和执行预算差异,不能据此判断其记忆模块本身更差。

6. 分数函数仍带有人为设计

确定性计分让结果可复现,但安全扣分、能耗权重和满分条件由设计者定义。不同权重可能改变系统排序。未来可以报告多种风险偏好下的 Pareto 曲线,而不是只给单一总分。

7. token 效率不是完整资源成本

论文的效率主要按生成 token 计算,未完整反映嵌入计算、向量数据库读写、记忆抽取延迟、持久化存储和工程维护成本。复杂记忆系统的真实成本可能被低估。

8. 每个实例重置限制了跨任务污染研究

当前设计有利于隔离变量,但没有充分测试长期运行中错误记忆累积、跨任务污染和记忆库无限增长。现实系统还需要遗忘、归档、冲突检测和容量治理。

十四、我的理解和启发

1. 这篇论文重新定义了“记忆正确”

过去我们常把记忆正确理解为“存储内容与历史一致”。AstroMemBench 提醒我们,Agent 的记忆至少有三层正确性:

  1. 内容正确:保存的事实没有被扭曲;
  2. 时间正确:知道哪条信息仍然有效,哪条已被替代;
  3. 行动正确:能把有效信息转化为满足安全和资源约束的动作。

只有第三层,才是部署型 Agent 真正需要的正确性。

2. 记忆系统的下一步不是更大的向量库,而是状态与约束

Mem0 在 C1、E3、S3 上表现很好,却在 I2 和 R2 上依然困难。这说明提升检索召回率不会自然解决所有问题。下一代记忆架构可能需要同时维护:

  • 可搜索的情节记录;
  • 实体级状态表;
  • 带版本的经验规则;
  • 可被规划器直接消费的资源与安全约束。

换句话说,记忆系统应从“外部文本缓存”演化为 Agent 的持久世界状态。

3. 同会话评测会系统性高估长期记忆

只要原始历史仍在上下文里,模型就可能绕开记忆模块。AstroMemBench 中 RAG、Mem0、CoM 在同会话差异很小,而新会话立刻拉开差距。因此,今后阅读任何 Agent Memory 论文,都应该先问:

测试时原始历史还在不在?会话是否真正重启?持久化存储是不是唯一信息通道?

如果这三个问题没有说明清楚,“长期记忆提升”很可能只是上下文增强。

4. 好基准应该让错误产生代价

问答基准中,答错一题只是少一个准确率点;真实 Agent 中,忘记安全前置条件和重复计算的代价完全不同。AstroMemBench 把状态、安全和资源写进评分,迈出了重要一步。

对 Coding Agent 来说,错误代价可以是破坏测试、引入回归或重复修改;对 Tool Agent 来说,可以是重复付费、误发消息或创建重复资源;对 Multi-Agent 来说,可以是状态冲突和任务重复。只有把这些代价纳入评测,记忆系统才会朝真正可部署的方向优化。

5. 最值得延伸的是“最小历史差异”设计

成对实例只改变一条历史,却要求不同动作,是非常干净的因果测试。它可以推广到几乎所有 Agent 场景:

  • 同一个修复请求,但依赖版本不同;
  • 同一个日程请求,但用户此前授权范围不同;
  • 同一个数据库操作,但事务状态不同;
  • 同一个采购任务,但预算预留不同。

这种设计比不断扩充开放式任务更容易回答一个根本问题:Agent 的行为究竟有没有被记忆改变。

十五、总结

AstroMemBench 的贡献不在于又提出一种记忆模块,而在于给 Agent Memory 提供了一种更接近真实部署的审判方式。

它用 Scenario–Challenge–Capability 三维框架构造 140 个模板、2,240 个实例,覆盖 9 类航天任务、16 种记忆挑战和 10 类执行能力;每个实例包含 30 轮、约 7 万 token 的历史,当前任务必须依赖历史才能正确完成;Agent 的动作进入确定性环境,由任务完成、最终状态、安全和资源消耗共同计分。

实验给出三个清晰结论:

  1. 同会话中,简单 RAG 已经非常有竞争力,复杂记忆系统没有稳定优势;
  2. 会话重启后,持久化记忆价值显著,Mem0 比 RAG 高 12.25 分;
  3. 当前系统擅长指令保持和结果复用,却仍不擅长多步状态追踪和能源预留。

一句话总结这篇论文:

AstroMemBench 让 Agent 的记忆不再通过“能否复述历史”接受检验,而是通过“能否依据历史做对动作,并对状态、安全与资源后果负责”接受检验。

参考资料

  1. You Wu, Guhong Zhang, Hongwei Li, Xinyue Hong, Yuan Jia. AstroMemBench: A Benchmark for Memory Systems in Embodied Spacecraft Agents. arXiv:2611.16590, 2026.
  2. 论文页面:https://arxiv.org/abs/2611.16590
  3. 项目代码:https://github.com/flyingView/AstroMemBench-v1
Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐