【论文阅读】Agent 记忆机制(137):AstroMemBench——让航天 Agent 的记忆通过行动后果接受检验
文章目录
前言
在前面的 Agent Memory 系列里,我们关注过很多“怎样记”的问题:A-MEM 讨论如何让记忆条目形成可演化的关联结构,MAGMA 试图把记忆拆成更清晰的层次,CoM 强调对历史经验的压缩与组织,ReMemR1 让 Agent 在写入新记忆时主动回看旧记忆,Mem²Evolve 则进一步把记忆系统本身的更新纳入持续演化过程。
这些工作共同推动了一个趋势:Agent 的记忆不再等同于把对话原文塞进向量库,而是逐渐拥有选择、重组、修订和调用经验的能力。
但当我们真正想比较两套记忆系统时,问题反而变得困难:检索到相关文本,是否就代表 Agent 真正记住了?
很多现有基准仍然采用问答范式。系统读完历史后回答“某人喜欢什么”“上次任务在哪里失败”“哪条规则发生了变化”。这种评测很适合测事实召回,却很难覆盖具身 Agent 更关键的责任:记忆必须改变下一步行动,并最终改变环境状态。
在航天任务中,这个差异尤其致命。Agent 可能准确复述“供给管线 H1 已连接 P02”,但在回收管线时仍然断错接口;也可能记得剩余能源数值,却没有为后续窗口预留能源;还可能检索到一条旧经验,却忽略后来对这条经验的修订。文本答案看似正确,真实执行却可能造成资源浪费、设备损坏甚至安全事故。
AstroMemBench 就是从这个缺口出发。它没有再设计一种新的记忆结构,而是提出一套面向具身航天 Agent 的可执行记忆评测:给 Agent 30 轮、约 7 万 token 的历史,让当前任务只能依赖其中的指令、状态、经验或约束才能正确完成;Agent 通过工具作用于确定性环境,环境根据任务完成度、最终状态、安全性和资源消耗直接计分。
因此,这篇论文的唯一核心增量可以概括为:
AstroMemBench 通过 Scenario–Challenge–Capability 三维构造方法,把航天长期记忆需求系统化地转化为历史依赖的具身任务,并用可执行环境中的行动后果,而不是文本相似度或问答准确率,评估记忆系统。
这个转变很重要。它把问题从“记忆模块能否找回一句话”,推进到了“Agent 能否让正确的历史证据在正确时刻改变决策”。
零、论文基本信息
- 论文名称:AstroMemBench: A Benchmark for Memory Systems in Embodied Spacecraft Agents
- 发表平台:arXiv 预印本,arXiv:2611.16590,2026 年 11 月
- 代码仓库:flyingView/AstroMemBench-v1
- 作者:You Wu、Guhong Zhang、Hongwei Li、Xinyue Hong、Yuan Jia
一、为什么现有 Agent Memory 评测还不够
1. 从“记忆问答”到“记忆指导行动”
传统长时记忆基准通常把记忆能力写成一个条件生成问题:给定历史 H H H 和当前问题 q q q,系统生成答案 a a a。
a = f ( H , q ) a=f(H,q) a=f(H,q)
这种形式隐含了一个假设:只要答案包含正确事实,就说明记忆有效。但具身 Agent 的真实目标不是输出一句描述,而是在环境状态 s t s_t st 下选择动作 a t a_t at,并让状态转移到正确结果:
a t = π ( s t , M ( H ) ) , s t + 1 = T ( s t , a t ) a_t=\pi(s_t,M(H)),\qquad s_{t+1}=\mathcal{T}(s_t,a_t) at=π(st,M(H)),st+1=T(st,at)
其中, M ( H ) M(H) M(H) 是记忆系统从历史中保存或检索出的信息, π \pi π 是 Agent 的决策策略, T \mathcal{T} T 是环境状态转移。
真正需要评测的不是 M ( H ) M(H) M(H) 与标准答案文本有多相似,而是最终轨迹是否完成任务:
S = R ( s 0 , a 0 : T , s T ) S=\mathcal{R}(s_0,a_{0:T},s_T) S=R(s0,a0:T,sT)
这里的 S S S 同时反映任务是否完成、设备状态是否正确、是否违反安全前置条件,以及是否浪费能源或计算资源。
2. 当前观察相同,正确动作仍可能不同
AstroMemBench 最有辨识力的设计,是构造历史对照实例:两个实例的当前请求和当前可见观察可以完全相同,30 轮历史中有 29 轮也相同,只改变一条决定性历史事件。
例如,当前任务都是“开始回收 H1 供给管线”,当前面板都只显示泵已关闭、系统已隔离和减压。实例 A 的历史表明 H1 最后连接在 P02,实例 B 则表明它最后连接在 P05。当前观察无法区分二者,Agent 必须恢复历史状态,才能选择正确的断开动作。
这类成对设计排除了一个常见捷径:模型不能仅靠当前提示、任务常识或语言模式猜答案。正确行为必须来自历史。
3. 航天任务为什么适合作为记忆压力测试
航天任务同时具有四类特征:
- 通信时延使 Agent 不能总是向人类即时确认;
- 任务链很长,旧指令可能隔很久才真正生效;
- 环境状态持续变化,记忆必须能被更新而不是永久固化;
- 能源、计算、下行窗口和设备寿命都有严格预算。
这意味着“相关”并不等于“可用”。一条记忆还必须满足时间有效性、适用条件、状态一致性和安全约束。
二、相关工作:AstroMemBench 位于哪里
1. 长上下文不是长期记忆的同义词
长上下文模型可以把大量历史保留在当前窗口中,但它解决的是“输入能否放下”,不保证“关键状态能否被识别、更新并用于行动”。当无关背景增多、证据分散或状态多次覆盖时,模型仍会出现注意力稀释、位置偏差和旧值干扰。
论文的实验也证明了这一点:同一会话中,原生 Pi 仍能直接访问历史,平均分达到 78.20;会话重启后,原始上下文消失,平均分骤降到 21.03。长上下文提供的是脆弱的会话内连续性,而不是独立、持久的记忆能力。
2. RAG 解决“找得到”,但不天然解决“状态演化”
RAG 把历史切分、向量化并按当前查询检索。它适合找回指令、结果和明确事实,却不天然维护实体的最新状态。例如 H1 先连接 P01,随后断开,再连接 P02;如果三个片段都被召回,最终状态仍需要 Agent 自己推理。
因此,AstroMemBench 不只设置事实召回,还加入单操作状态、多操作状态、经验修订、能源预留和故障恢复,专门测试“检索相关片段”与“恢复可行动状态”之间的差距。
3. 结构化记忆系统需要统一、可执行的比较尺度
Mem0、CoM、LightMem 等系统对历史进行抽取、压缩、组织或更新。它们各自的记忆表示不同,仅比较召回率很难公平:一个系统保存完整原句,另一个系统保存结构化摘要,两者未必能用同一个文本相似度指标衡量。
AstroMemBench 让不同系统最终都面对同一个环境、工具集合和计分器。无论内部记忆是向量条目、压缩摘要还是关联结构,只要能帮助 Agent 做对动作,就会反映在分数上。
4. 与一般具身基准的区别
已有具身 Agent 基准通常强调导航、操作、规划或视觉感知,但当前任务所需信息大多存在于即时观察中。AstroMemBench 则把“当前观察不足”作为设计前提:关键证据被放进历史,且可能被后续事件覆盖或修订。
所以它评测的不是单独的具身能力,而是记忆与具身能力之间的接口。
三、AstroMemBench 方法总览

Figure 1:AstroMemBench 总览。 上半部分展示约 7 万 token 的 30 轮历史如何经过记忆系统影响当前动作,并由确定性环境按执行结果计分;下半部分展示 Scenario–Challenge–Capability 三维构造框架,以及 2,240 个实例的来源。
Figure 1 应该放在方法总览开头,因为它同时说明了这篇论文的两个关键点:评测对象是“记忆指导下的任务执行”,数据集则不是零散编写,而是从场景、记忆挑战和执行能力三条轴系统生成。
每个评测实例可以写成:
x = ( H , q , o 0 , A , T , R ) x=(H,q,o_0,\mathcal{A},\mathcal{T},\mathcal{R}) x=(H,q,o0,A,T,R)
其中:
- H H H 是 30 轮交互历史;
- q q q 是当前任务;
- o 0 o_0 o0 是当前环境观察;
- A \mathcal{A} A 是允许调用的工具或动作集合;
- T \mathcal{T} T 是确定性环境转移;
- R \mathcal{R} R 是任务计分函数。
Agent 读取历史或持久记忆后调用工具。环境不判断回答“像不像标准答案”,而是执行动作、更新状态,并计算 0 到 100 的分数。
四、SCC:从航天需求到可执行任务
1. Scenario:三类任务域、九种任务
场景维度覆盖三类航天活动:
| 场景域 | 具体任务 |
|---|---|
| 行星表面作业 | 区域勘测、样本采集、货物运输 |
| 在轨服务 | 目标检查、设备维修、物资补给 |
| 深空探测 | 巡航支持、科学观测、数据回传 |
场景维度。 九种任务让同一种记忆挑战在不同物理对象、工具和任务流程中出现,减少系统对固定措辞或单一环境的过拟合。
2. Challenge:六大类、十六个记忆子挑战
作者从 ESA 对自主航天任务的挑战分类出发,将其细化为 16 个能被独立测试的记忆子挑战。
| 类别 | 编号 | 子挑战 | 实际测试内容 |
|---|---|---|---|
| 通信延迟 | C1 | Instruction retention | 长时间后执行早先指令 |
| 通信延迟 | C2 | Rule disambiguation | 在多条相似规则中使用适用规则 |
| 通信延迟 | C3 | Downlink confirmation | 记住数据是否已确认下行 |
| 时间关键 | T1 | Validity assessment | 判断历史信息是否仍在有效期内 |
| 时间关键 | T2 | Deferred tasks | 在触发条件满足时恢复延期任务 |
| 环境不确定性 | E1 | Experience matching | 匹配可迁移的历史经验 |
| 环境不确定性 | E2 | Experience revision | 使用修订后的经验而不是旧经验 |
| 环境不确定性 | E3 | Localization recovery | 从历史恢复定位信息 |
| 复杂物理交互 | I1 | Single-operation state | 追踪单次操作导致的状态 |
| 复杂物理交互 | I2 | Multi-operation state | 合并多次操作恢复最终状态 |
| 资源约束 | R1 | Energy-use experience | 利用历史能耗经验规划 |
| 资源约束 | R2 | Energy reservation | 为后续任务预留能源 |
| 资源约束 | R3 | Result reuse | 复用已有计算或观测结果 |
| 安全可靠性 | S1 | Safety prerequisites | 恢复操作前置安全条件 |
| 安全可靠性 | S2 | Capability updates | 记住设备能力的更新 |
| 安全可靠性 | S3 | Fault recovery | 复用经过验证的故障恢复经验 |
十六类记忆挑战。 它们覆盖事实、规则、时间、状态、经验、资源和安全,避免把“记忆”缩减为单纯的事实检索。
这套分类最有价值的地方,是把记忆错误与任务风险对齐。例如 C1 遗忘指令会导致任务偏离,I2 状态合并错误会作用于错误对象,R2 忘记预留会使后续关键任务无能源可用,S1 则可能直接造成不安全操作。
3. Capability:记忆最终要服务的十类能力
能力维度包括:感知与解释、空间导航、观测获取、机械操作、运行控制、设备配置、数据处理、通信、任务规划和资源分配。
作者没有假设每个模板只依赖一种能力,而是允许一个模板关联 1 到 5 种能力。最终 140 个模板形成 285 条“模板—能力”关联。

Figure 2:SCC 覆盖与能力关联。 底部矩阵表示九个场景任务与十六个子挑战的覆盖关系;上方十个能力平面显示每个场景—挑战模板需要调用哪些执行能力。
Figure 2 应放在 SCC 三个维度介绍之后。它支持的结论不是“样本很多”,而是模板同时覆盖记忆挑战与具身执行能力;四个阴影组合因实际不适用被排除,其余 9 × 16 − 4 = 140 9\times16-4=140 9×16−4=140 个组合全部覆盖。
4. 从 140 个模板扩展为 2,240 个实例
每个模板生成 16 个实例,其中简单 6 个、中等 6 个、困难 4 个:
140 × 16 = 2240 140\times16=2240 140×16=2240
因此,数据集中包含 840 个简单实例、840 个中等实例和 560 个困难实例。难度不是简单按文本长度划分,而是通过证据位置、干扰项数量、状态更新链长度和动作组合复杂度控制。
五、实例是怎样构造出来的
1. 30 轮历史与约 7 万 token 背景
每个实例包含 30 个顺序历史回合,总长度控制在 69,850 到 70,150 token 左右。历史材料来自 513 份经过审核的合成航天运行记录。大量背景不是为了单纯“塞满窗口”,而是制造接近运行日志的证据密度:决定当前行动的那条信息可能只占很小比例。
其中 32 个实例使用 NASA 图像构成视觉任务,其余实例以文本和结构化环境交互为主。作者对 2,208 个非视觉实例进行程序化状态重建,对 32 个视觉实例人工验证,2,240 个参考动作都能获得满分。
2. 成对实例隔离记忆因果作用
如果只观察单个任务得分,我们很难判断 Agent 是靠记忆、常识还是猜测完成任务。为此,论文使用最小差异的成对实例:
H ( a ) = H 1 : 29 ∪ { h 30 ( a ) } , H ( b ) = H 1 : 29 ∪ { h 30 ( b ) } H^{(a)}=H_{1:29}\cup\{h_{30}^{(a)}\},\qquad H^{(b)}=H_{1:29}\cup\{h_{30}^{(b)}\} H(a)=H1:29∪{h30(a)},H(b)=H1:29∪{h30(b)}
当前任务 q q q 和观察 o o o 保持一致,但决定性历史事件不同,因此:
a ∗ ( a ) ≠ a ∗ ( b ) a^{*(a)}\neq a^{*(b)} a∗(a)=a∗(b)
只有能够区分历史的系统,才可能在两个实例中都做对。这比单独问“最后连接在哪个端口”更严格,因为 Agent 必须把记忆转化为工具动作。
3. 确定性环境为什么重要
如果环境本身具有随机性,一次失败可能来自控制噪声而非记忆错误。AstroMemBench 采用确定性状态转移:相同初始状态和动作序列始终得到相同结果。
s t + 1 = T ( s t , a t ) s_{t+1}=\mathcal{T}(s_t,a_t) st+1=T(st,at)
这样,系统间得分差异更容易归因于记忆和决策,而不是环境随机性。
4. 分数不是只有“成功/失败”
不同任务使用面向后果的计分规则。以资源类任务 FM-R1-P3 为例,任务未完成时得分为 0;完成后,根据实际能耗 E E E 与最低可行能耗 E min E_{\min} Emin 的比值计分,并对违规行为 b b b 和额外危险操作 h h h 扣分:
s = max { 0 , 100 min ( 1 , E min E ) − 25 b − 15 h } s=\max\left\{0,100\min\left(1,\frac{E_{\min}}{E}\right)-25b-15h\right\} s=max{0,100min(1,EEmin)−25b−15h}
另一个结果复用任务 FM-R3-O2 中,首次计算消耗 300 单位能源,后续每次重复请求再消耗 30。直接复用历史结果可得 100 分,重复请求一次得 90 分,两次得 80 分,三次得 70 分。
这体现了基准的价值:Agent 即使最终给出正确结果,如果忘记已完成的计算而反复调用昂贵工具,也会被判定为记忆系统不够好。
六、实验设置
1. 被比较的系统
| 系统 | 作用 |
|---|---|
| Pi | 不额外接入记忆模块的 Agent 基线 |
| Pi + RAG | 对历史进行向量检索并注入相关片段 |
| Pi + Mem0 | 使用 Mem0 开源记忆系统抽取、更新与检索记忆 |
| Pi + CoM | 使用 Chain-of-Memory 风格的压缩与组织机制 |
| Pi + LightMem | 使用轻量长期记忆模块 |
| SpaceMind | 完整航天 Agent 架构参考,使用其原生配置 |
比较系统。 前五项尽量共享 Pi 执行框架,便于观察记忆模块本身的影响;SpaceMind 是完整系统而非同骨干替换,因此只能作为架构参考,不能做严格等变量结论。
Pi 版本为 0.99.2,Mem0 使用 JavaScript 开源版 3.3.1。推理模型统一采用 GLM-5.3-Flash,向量模型为 Qwen3-VL-Embedding-2B,嵌入维度 2,048,温度为 0,推理强度设为 low。
2. 两种会话条件
同会话
当前任务与历史写入处于同一个会话。即使外部记忆检索不完美,Agent 仍可能直接利用上下文中的原始历史。主实验采用 128K 上下文,并允许 Pi 的原生压缩机制处理长历史。
新会话
历史写入完成后重启会话,当前任务只能依靠持久化记忆。主实验使用 262K 窗口,但原始历史不再直接可见。
这两个条件分别回答:
- 记忆模块能否在原始上下文仍可见时提供增益?
- 当上下文消失后,记忆是否真的能跨会话保存并恢复?
3. 指标
论文报告平均任务分、满分率、总生成 token 和单位 token 效率。相对 Pi 基线的“剩余提升空间归一化增益”为:
G = M − B 100 − B × 100 % G=\frac{M-B}{100-B}\times100\% G=100−BM−B×100%
其中 B B B 是 Pi 平均分, M M M 是接入记忆后的平均分。这个指标比直接看绝对提升更合理:当基线已经达到 90 分时,提升 5 分意味着填补了一半剩余空间;当基线只有 20 分时,提升 5 分的意义较小。
效率定义为每 10 亿生成 token 获得的分数:
E = 10 9 S T E=\frac{10^9S}{T} E=T109S
置信区间通过 10,000 次 bootstrap 得到,随机种子为 1729。重采样单位是 140 个模板下的 2,089 个构造组,并在成对条件之间同步抽样,以保留实例相关性。
七、主实验结果
1. 总体结果
| 会话 | 系统 | 平均分(95% CI) | 满分率 | 归一化增益 | 总 token(M) | 效率 |
|---|---|---|---|---|---|---|
| 同会话 128K | Pi | 78.20 [76.80, 79.57] | 69.82% | 0.00% | 2721.58 | 28.73 |
| 同会话 128K | RAG | 82.74 [81.45, 83.99] | 75.71% | 20.82% | 3089.99 | 26.78 |
| 同会话 128K | Mem0 | 81.70 [80.38, 82.99] | 74.60% | 16.07% | 3982.69 | 20.51 |
| 同会话 128K | CoM | 82.07 [80.79, 83.34] | 74.64% | 17.75% | 3585.64 | 22.89 |
| 同会话 128K | LightMem | 79.59 [78.17, 80.96] | 71.38% | 6.38% | 3077.36 | 25.86 |
| 同会话 128K | SpaceMind | 44.10 [42.50, 45.68] | 32.77% | -156.41% | 1945.16 | 22.67 |
| 新会话 262K | Pi | 21.03 [19.85, 22.26] | 11.74% | 0.00% | 2744.22 | 7.66 |
| 新会话 262K | RAG | 53.03 [51.47, 54.59] | 43.48% | 40.53% | 3359.77 | 15.78 |
| 新会话 262K | Mem0 | 65.28 [63.66, 66.88] | 55.45% | 56.03% | 4119.77 | 15.85 |
| 新会话 262K | CoM | 52.32 [50.68, 53.97] | 42.99% | 39.62% | 3926.32 | 13.32 |
| 新会话 262K | LightMem | 30.00 [28.57, 31.37] | 20.58% | 11.36% | 3156.11 | 9.51 |
| 新会话 262K | SpaceMind | 20.49 [19.36, 21.60] | 10.71% | -0.68% | 1842.54 | 11.12 |
Table 9:主实验结果。 同会话中 RAG 以 82.74 获得最高均分;新会话中 Mem0 以 65.28 明显领先,并将 Pi 的 21.03 提升 44.25 分。
2. 同会话:简单 RAG 已经很强
同会话中,RAG 的 82.74 高于 Mem0 的 81.70 和 CoM 的 82.07。三者置信区间高度重叠,不能得出复杂记忆系统明显优于 RAG 的结论。
原因并不神秘:原始历史仍在上下文中,Agent 可以同时利用上下文、原生压缩和检索片段。此时记忆模块的主要作用只是重新强调相关证据。复杂的抽取和更新流程不仅没有形成明确优势,还消耗更多 token:Mem0 使用 3,982.69M token,比 RAG 多约 29%。
这给 Agent Memory 研究一个很现实的提醒:如果任务始终处在同一会话,且历史可以被长上下文容纳,那么结构更复杂并不自动等于效果更好。强检索基线必须保留。
3. 新会话:持久化能力才真正拉开差距
会话重启后,Pi 从 78.20 降到 21.03,说明它在同会话中的高分大部分依赖原始上下文。RAG 恢复到 53.03,Mem0 达到 65.28。
Mem0 比 RAG 高 12.25 分,置信区间为 [10.09, 14.37];满分率也从 43.48% 提高到 55.45%。这说明跨会话时,仅保存可检索片段还不够,记忆的抽取、合并和更新开始体现价值。
不过,即使最佳 Mem0 也只有 65.28,仍有超过三分之一的得分空间没有填补。AstroMemBench 并没有证明长期记忆已经解决,反而更清楚地暴露了问题。
4. SpaceMind 为什么表现低
SpaceMind 的结果不能简单解释为“航天 Agent 架构无效”。它使用完整原生系统,最大只有 3 轮 ReAct,每轮只能调用一个工具,单次生成预算 1,024 token;Pi 则允许更长的 16,384 token 生成,并保留更丰富的历史处理能力。SpaceMind 只详细保存最近 8 轮,更早历史被截断。
因此,这一行更多说明:在长历史、多步工具调用和严格动作序列下,原生预算较小的完整系统会受到执行上限限制。它不是与 Pi+记忆模块的严格等变量比较。
八、不同记忆挑战上的表现

Figure 3:不同记忆系统相对 Pi 的子挑战增益。 左侧为同会话,右侧为新会话;颜色和数字表示各系统相对 Pi 的平均分差。
Figure 3 应放在总体结果之后,因为总体均分只告诉我们“谁更高”,这张图才揭示每个系统“擅长记什么”。
1. Mem0 最擅长指令保持与故障恢复
新会话下,Mem0 在 C1 指令保持上比 Pi 高 69.5 分,在 E3 定位恢复上高 65.6 分,在 S3 故障恢复上高 62.5 分。这些任务的共同点是:历史中存在一条相对明确、可独立表达的决定性事实或程序,适合被抽取成持久记忆条目。
C1 的绝对分数最能说明问题:Pi 为 16.10,RAG 为 33.67,Mem0 达到 85.58。Mem0 能把早期指令抽取并长期保留,而不是依赖当前会话上下文。
2. CoM 在经验修订上有局部优势
E2 经验修订要求系统不仅找到旧经验,还要识别后续修正。新会话中 RAG 得 58.55,Mem0 得 78.13,CoM 得 69.64。虽然 Mem0 仍最高,但 CoM 相比自己在多数项目上的表现,在修订型任务中更有竞争力。
这说明压缩链或结构化组织的价值不一定体现在总体均分,而可能体现在“旧结论被新证据推翻”这种冲突处理任务中。
3. 状态追踪和能源预留仍是共同短板
新会话 I2 多操作状态中,最好的是 CoM 49.94,Mem0 46.62,RAG 39.91;R2 能源预留中,RAG 40.63、Mem0 40.28、CoM 30.27。它们明显低于指令保持或结果复用。
原因在于这两类任务不是找回一条事实,而是需要执行状态更新:
s t = U ( s t − 1 , e t ) s_t=U(s_{t-1},e_t) st=U(st−1,et)
其中不同事件可能覆盖、撤销或部分修改旧状态。以片段为中心的记忆系统容易保存多个局部真相,却没有一个显式状态机保证最终状态一致。
能源预留还需要把未来任务纳入当前决策。它不是“记得剩余电量”这么简单,而是要计算:
E available − E current ≥ E reserved E_{\text{available}}-E_{\text{current}}\ge E_{\text{reserved}} Eavailable−Ecurrent≥Ereserved
现有记忆系统大多擅长过去事实的被动召回,不擅长把记忆转化为前瞻资源约束。
4. 结果复用比持续状态维护更容易
R3 新会话中,RAG、Mem0、CoM 分别达到 73.23、75.17、73.14;而 I2 最好不到 50。这说明当前系统更擅长“历史里已经有一个完整结果,把它找回来”,不擅长“历史里有多次变化,把它们合并成当前状态”。
这也是论文最重要的诊断之一:多数 Agent Memory 仍然带有明显的事实中心和检索中心偏置。
九、消融实验
1. 九组条件控制了什么
消融实验设置 A 到 I 九组条件,分别改变会话连续性、是否有背景噪声、上下文窗口、RAG 与 Mem0。每组 2,240 个实例,共 20,160 次评分。

Figure 4:会话、背景与记忆模块的消融诊断。 左侧比较干净历史下同会话与新会话的 Pi、RAG、Mem0;右侧比较 Pi 在背景历史、不同窗口和不同会话条件下的子挑战得分。
2. 会话连续性是最大的隐藏变量
| 对比 | 含义 | 分差(95% CI) |
|---|---|---|
| A − B | 干净历史:同会话 − 新会话 | +62.02 [60.45, 63.58] |
| C − D | 背景历史:同会话 − 新会话 | +53.88 [52.13, 55.55] |
| F − G | Mem0:同会话 − 新会话 | +11.85 [10.19, 13.50] |
| H − I | RAG:同会话 − 新会话 | +29.20 [27.38, 30.98] |
会话连续性消融。 原生 Pi 的会话差距超过 60 分;Mem0 将差距压缩到 11.85,说明它真正保存了跨会话信息,但仍未完全消除会话依赖。
在固定的干净历史和 262K 窗口下,Pi 同会话为 83.12,新会话为 21.10;RAG 分别为 88.63 和 59.43;Mem0 分别为 87.56 和 75.71。
这个消融比主实验的直接同/新会话对比更可信,因为主实验的上下文窗口不同。它证明性能下降确实主要来自会话重启,而不是 128K 与 262K 的窗口差异。
3. 同会话中 Mem0 与 RAG没有明确差异
| 对比 | 分差(95% CI) |
|---|---|
| F − A:Mem0 对 Pi,同会话 | +4.43 [3.02, 5.89] |
| H − A:RAG 对 Pi,同会话 | +5.50 [4.05, 6.92] |
| F − H:Mem0 对 RAG,同会话 | -1.07 [-2.44, 0.34] |
| G − B:Mem0 对 Pi,新会话 | +54.61 [52.85, 56.33] |
| I − B:RAG 对 Pi,新会话 | +38.33 [36.49, 40.14] |
| G − I:Mem0 对 RAG,新会话 | +16.28 [14.32, 18.26] |
记忆模块消融。 同会话中 Mem0 与 RAG 的差异跨过 0,不能认为 Mem0 更好;新会话中 Mem0 的优势达到 16.28 分,持久化与更新能力只有在原始上下文消失后才充分显现。
4. 背景噪声的影响不是均匀的
Pi 在同会话干净历史与背景历史之间相差 8.97 分;新会话只相差 0.82,后者置信区间跨过 0。原因是新会话 Pi 本来就看不到原始历史,背景是否存在影响很小。
更有意思的是,128K 原生压缩相对 262K 完整上下文总体提高 3.54 分,但子挑战方向并不一致:C3 下行确认提高 28.65,R3 结果复用提高 8.88;I2 多操作状态下降 9.02,R2 能源预留下滑 6.22。
这说明上下文压缩具有选择性偏差。它可能成功保留孤立事实和完成结果,却丢失状态链与资源约束。只看总体均分会掩盖这种结构性损失。
十、失败案例与反例
1. 找到旧经验,却没有找到修订
在 E2 中,检索器可能把语义相似度最高的首次经验排在前面,而后续修订因为措辞不同没有进入 Top-k。Agent 看似“使用了记忆”,实际使用的是已失效记忆。
这说明记忆条目需要版本、有效区间和替代关系,而不仅是时间戳。
2. 多条局部正确记忆合成错误状态
I2 中,历史片段“设备已开启”“设备已重置”“设备切换到备用模式”都可能单独正确,但只有按时间和状态转移顺序组合,才能得到当前状态。普通向量检索返回的是证据集合,不保证集合可执行地一致。
3. 记得资源事实,却没有把它变成约束
R2 中,Agent 可能准确检索未来任务需要 40 单位能源,也知道当前只剩 70,但仍为当前非关键任务消耗 40。问题不是事实缺失,而是记忆没有进入规划器的约束层。
4. 同会话高分造成“伪长期记忆”
一个系统可能在同会话中表现很好,却只是让基础模型重新读取原始历史。Pi 从同会话 78.20 到新会话 21.03 的落差,就是最直接的反例。任何声称“长期记忆有效”的系统,都应该报告会话重启后的表现。
十一、与既有 Agent Memory 方法的横向比较
| 方法 | 核心问题 | 主要记忆形态 | AstroMemBench 能检验什么 |
|---|---|---|---|
| A-MEM | 记忆如何形成关联并演化 | 原子记忆与动态链接 | 关联是否真的帮助恢复任务相关状态 |
| MAGMA | 记忆如何分层组织 | 多粒度、多层记忆 | 不同层级能否支持规则、状态与资源约束 |
| CoM | 如何压缩和串联历史 | 压缩记忆链 | 面对修订与长证据链时是否保留决定性信息 |
| ReMemR1 | 写入时如何主动回看旧记忆 | 可回访记忆更新 | 回访能否减少旧状态覆盖与经验冲突 |
| Mem²Evolve | 记忆系统如何持续自我更新 | 可演化记忆策略 | 演化是否提升跨会话执行而非仅提升问答召回 |
| LinEra | 如何保持时间与时代边界 | 时间敏感记忆 | 是否能判断有效期、替代关系与当前状态 |
| CLAM | 如何把长期记忆用于行动 | 行动导向记忆 | 记忆是否真正改变工具轨迹和环境结果 |
| DISCERN | 如何诊断记忆系统内部能力 | 细粒度诊断维度 | 可与 SCC 子挑战形成互补诊断 |
| AstroMemBench | 如何评价具身 Agent 的长期记忆 | 可执行历史依赖任务 | 用任务、状态、安全和资源后果统一评分 |
横向比较。 前述方法主要回答“怎样构造记忆”,AstroMemBench 回答“怎样证明这套记忆在行动中有效”。它不是替代这些方法,而是为它们提供更严格的外部检验。
AstroMemBench 对记忆方法研究提出了三项额外要求。
第一,必须区分同会话利用和跨会话持久化。第二,必须同时报告事实型任务与状态型任务,避免用容易的结果复用掩盖困难的状态维护。第三,最终指标应该包含行动代价和安全后果,而不是只看回答内容。
十二、对 Coding Agent、Tool Agent 与 Multi-Agent 的启发
1. Coding Agent:把仓库状态当成可演化实体
Coding Agent 的历史中也存在类似 I2 的多操作状态:文件被修改、测试失败、依赖升级、用户又撤回部分要求。简单检索“最近提到的文件”不够,系统需要维护可验证的仓库状态:
S t = U ( S t − 1 , patch t , test t , user correction t ) S_t=U(S_{t-1},\text{patch}_t,\text{test}_t,\text{user correction}_t) St=U(St−1,patcht,testt,user correctiont)
可以借鉴 AstroMemBench 构造“当前 issue 相同、历史 patch 不同”的成对任务,检查 Agent 是否会针对真实仓库状态选择不同修复,而不是机械复用旧方案。
2. Tool Agent:用副作用和成本评估记忆
工具 Agent 的记忆不应只以“检索到正确 API 文档”评估,还应看它是否避免重复付费调用、是否记住已创建资源、是否遵守先决条件。对应 R3 的结果复用,可以设计:历史中已经完成一次昂贵查询,当前任务应直接复用结果;重复调用虽然得到正确答案,也要扣除成本分。
3. Multi-Agent:共享记忆需要来源与版本
多 Agent 系统中,某个 Agent 写入的状态可能后来被另一个 Agent 更新。若共享记忆只按相似度检索,旧状态很容易重新出现。应至少保存:
- 记忆来源 Agent;
- 观察时间与生效时间;
- 被哪条新记忆替代;
- 证据可靠度;
- 对哪些计划和资源约束产生影响。
AstroMemBench 的经验修订、下行确认和多操作状态,可以直接迁移为多 Agent 共享黑板的测试模板。
4. 建议的记忆—规划接口
实验表明,仅把检索结果拼接进 prompt 很难解决状态和资源问题。工程上可以把记忆输出分成三类:
M t = ( F t , S t , C t ) M_t=(F_t,S_t,C_t) Mt=(Ft,St,Ct)
其中 F t F_t Ft 是事实和经验, S t S_t St 是当前实体状态, C t C_t Ct 是必须进入规划器的硬约束。规划阶段不只读取自然语言记忆,还要显式验证动作是否满足 C t C_t Ct。
十三、论文的局限性
1. 合成任务不等于真实航天运行
虽然模板来源于航天任务需求,环境也有明确状态和资源模型,但数据仍是合成的。真实航天器存在传感器噪声、通信丢包、执行器误差、设备退化和无法预先枚举的故障。确定性环境提高了诊断性,也牺牲了一部分现实复杂度。
2. 30 轮历史仍是有限长期性
约 7 万 token 足以制造长上下文压力,但真实任务可能持续数月甚至数年,涉及数万次事件、周期性维护和跨任务知识迁移。当前基准测试的是“长历史依赖”,还不是完整的终身学习。
3. 主实验的同/新会话窗口不同
主实验同会话使用 128K,新会话使用 262K,不能仅用两行结果直接把所有差异归因于会话重启。作者通过固定 262K 的消融弥补了这个问题,但读主表时仍需注意。
4. 单一基础模型限制了外推性
实验主要使用 GLM-5.3-Flash。不同模型的长上下文能力、工具使用习惯和指令遵循差异很大,Mem0 对 RAG 的优势不一定按相同比例迁移到其他模型。
5. 完整系统比较并不完全公平
SpaceMind 的工具轮数、生成预算和历史保留策略与 Pi 不同。它的低分混合了记忆、规划和执行预算差异,不能据此判断其记忆模块本身更差。
6. 分数函数仍带有人为设计
确定性计分让结果可复现,但安全扣分、能耗权重和满分条件由设计者定义。不同权重可能改变系统排序。未来可以报告多种风险偏好下的 Pareto 曲线,而不是只给单一总分。
7. token 效率不是完整资源成本
论文的效率主要按生成 token 计算,未完整反映嵌入计算、向量数据库读写、记忆抽取延迟、持久化存储和工程维护成本。复杂记忆系统的真实成本可能被低估。
8. 每个实例重置限制了跨任务污染研究
当前设计有利于隔离变量,但没有充分测试长期运行中错误记忆累积、跨任务污染和记忆库无限增长。现实系统还需要遗忘、归档、冲突检测和容量治理。
十四、我的理解和启发
1. 这篇论文重新定义了“记忆正确”
过去我们常把记忆正确理解为“存储内容与历史一致”。AstroMemBench 提醒我们,Agent 的记忆至少有三层正确性:
- 内容正确:保存的事实没有被扭曲;
- 时间正确:知道哪条信息仍然有效,哪条已被替代;
- 行动正确:能把有效信息转化为满足安全和资源约束的动作。
只有第三层,才是部署型 Agent 真正需要的正确性。
2. 记忆系统的下一步不是更大的向量库,而是状态与约束
Mem0 在 C1、E3、S3 上表现很好,却在 I2 和 R2 上依然困难。这说明提升检索召回率不会自然解决所有问题。下一代记忆架构可能需要同时维护:
- 可搜索的情节记录;
- 实体级状态表;
- 带版本的经验规则;
- 可被规划器直接消费的资源与安全约束。
换句话说,记忆系统应从“外部文本缓存”演化为 Agent 的持久世界状态。
3. 同会话评测会系统性高估长期记忆
只要原始历史仍在上下文里,模型就可能绕开记忆模块。AstroMemBench 中 RAG、Mem0、CoM 在同会话差异很小,而新会话立刻拉开差距。因此,今后阅读任何 Agent Memory 论文,都应该先问:
测试时原始历史还在不在?会话是否真正重启?持久化存储是不是唯一信息通道?
如果这三个问题没有说明清楚,“长期记忆提升”很可能只是上下文增强。
4. 好基准应该让错误产生代价
问答基准中,答错一题只是少一个准确率点;真实 Agent 中,忘记安全前置条件和重复计算的代价完全不同。AstroMemBench 把状态、安全和资源写进评分,迈出了重要一步。
对 Coding Agent 来说,错误代价可以是破坏测试、引入回归或重复修改;对 Tool Agent 来说,可以是重复付费、误发消息或创建重复资源;对 Multi-Agent 来说,可以是状态冲突和任务重复。只有把这些代价纳入评测,记忆系统才会朝真正可部署的方向优化。
5. 最值得延伸的是“最小历史差异”设计
成对实例只改变一条历史,却要求不同动作,是非常干净的因果测试。它可以推广到几乎所有 Agent 场景:
- 同一个修复请求,但依赖版本不同;
- 同一个日程请求,但用户此前授权范围不同;
- 同一个数据库操作,但事务状态不同;
- 同一个采购任务,但预算预留不同。
这种设计比不断扩充开放式任务更容易回答一个根本问题:Agent 的行为究竟有没有被记忆改变。
十五、总结
AstroMemBench 的贡献不在于又提出一种记忆模块,而在于给 Agent Memory 提供了一种更接近真实部署的审判方式。
它用 Scenario–Challenge–Capability 三维框架构造 140 个模板、2,240 个实例,覆盖 9 类航天任务、16 种记忆挑战和 10 类执行能力;每个实例包含 30 轮、约 7 万 token 的历史,当前任务必须依赖历史才能正确完成;Agent 的动作进入确定性环境,由任务完成、最终状态、安全和资源消耗共同计分。
实验给出三个清晰结论:
- 同会话中,简单 RAG 已经非常有竞争力,复杂记忆系统没有稳定优势;
- 会话重启后,持久化记忆价值显著,Mem0 比 RAG 高 12.25 分;
- 当前系统擅长指令保持和结果复用,却仍不擅长多步状态追踪和能源预留。
一句话总结这篇论文:
AstroMemBench 让 Agent 的记忆不再通过“能否复述历史”接受检验,而是通过“能否依据历史做对动作,并对状态、安全与资源后果负责”接受检验。
参考资料
- You Wu, Guhong Zhang, Hongwei Li, Xinyue Hong, Yuan Jia. AstroMemBench: A Benchmark for Memory Systems in Embodied Spacecraft Agents. arXiv:2611.16590, 2026.
- 论文页面:https://arxiv.org/abs/2611.16590
- 项目代码:https://github.com/flyingView/AstroMemBench-v1
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)