【论文阅读】Agent 记忆机制(119):EvoLife——让具身 Agent 把主动问到的答案沉淀为可复用的空间经验
文章目录
前言
在此前的 Agent Memory 系列中,我们讨论过不少“如何把历史经验保存下来”的方案:A-MEM 强调记忆之间的动态关联,MAGMA 强调多图结构与多粒度组织,CoM 把记忆压缩为可执行经验,ReMemR1 允许 Agent 回看历史记忆,Mem²Evolve 则进一步讨论记忆本身如何随任务持续演化。
但这些工作大多默认一个前提:Agent 已经获得了值得记住的信息。
放到具身导航里,这个前提并不总成立。机器人可能站在岔路口,却无法仅凭当前视野判断应该走哪条路;可能已经看见了目标物体,却不知道距离是否满足任务的严格停止阈值;也可能在第一天通过人的帮助找到了会议室,但第二天仍把这次对话当作一次性上下文,无法把“门、走廊、房间和人的提示”变成可以再次调用的空间经验。
因此,长期具身智能面对的并不只是“记忆容量”问题,而是一条更完整的闭环:
- 当前观察不足时,Agent 是否知道主动求助;
- 获得答案后,是否能把语言信息绑定到具体空间位置;
- 再次执行任务时,是否能直接调用这段经验,而不是重复提问;
- 面对不同尺度的运动需求时,是否能选择合适的动作抽象。
EvoLife 正是从这条闭环出发。它没有再设计一种更复杂的向量数据库,也没有训练一个新的导航基础模型,而是把混合动作、主动交互和持久空间记忆统一进同一个工具调用框架,让冻结的多模态模型在导航过程中自行决定“怎么走、何时问、记什么、何时复用”。
一句话核心增量:EvoLife 的唯一核心增量,是把多尺度行动、主动求助和地点化持久记忆纳入同一决策闭环,使交互获得的临时知识能够沉淀为后续导航可直接复用的空间经验。
需要提前说明:EvoLife 更接近一个系统级 Harness,而不是一种通过训练得到的新算法。它的亮点在于接口统一和闭环打通;相应地,论文中的高成功率也必须结合特权引导者、理想定位、采样规模和重访协议来理解。
零、论文基本信息
- 论文名称: Ask to Evolve: A Unified Harness for Lifelong Embodied Navigation with Hybrid Action Space and Persistent Memory
- 发表平台: arXiv
- 代码仓库: 论文暂未公开代码;项目主页
- 作者: Kai Sheng、Liuyi Wang、Jinlong Li、Haojie Dai、Chengju Liu、Qijun Chen
一、论文要解决什么问题
1. 单一动作空间难以覆盖真实导航
具身导航中的动作接口往往被固定为一种粒度:
- 离散动作擅长近距离精调,但长距离移动需要大量决策;
- 路点动作效率高,却不适合狭窄区域和精确停止;
- 像素点击符合视觉直觉,但依赖深度与几何投影;
- 面向物体的动作适合 ObjectNav,却难以表达普通路径跟随。
真实任务会在这些需求之间不断切换。长走廊适合一次移动到远处路点,门口适合小步调整,用户说“去图中这把椅子”时又更适合以像素或对象作为动作参数。若系统只开放一种动作,模型能力再强也会被执行接口限制。
2. 被动感知无法解决所有不确定性
传统导航通常把 Agent 设定为封闭执行者:模型只能根据观察、指令和历史轨迹行动。可是许多歧义并不能通过多走几步自然消失,例如:
- “木门”究竟是目的地还是通往目的地的入口;
- 两个外观相似的书架中哪一个才是用户指定实例;
- 机器人已经接近物体,但是否进入评测认可的目标视点区域;
- 实机环境中的门突然关闭,需要人协助打开。
EvoLife 将提问视为一种正式动作。Agent 可以判断当前证据不足,并主动向外部 Guide 请求方向、地标、目标辨别或环境协助。
3. 一次性交互没有形成长期能力
仅允许 Agent 提问仍不等于长期学习。如果回答只存在于当前上下文中,下次回到相同地点时仍要重新询问。论文要解决的关键断点是:如何把对话答案与当时的位置、观察、地图和路线共同保存,使其成为可重访的空间记忆。
4. 既有工作为什么还不够
现有具身导航研究通常分别研究动作策略、交互导航或长期记忆:混合动作缺少跨任务经验积累;交互导航往往在单次 episode 内结束;持续导航可以保持地图,却未必让模型主动管理语义地点与历史对话。EvoLife 的选择不是继续优化其中一个部件,而是提供一套统一接口,让三个部件在一次决策循环中协同工作。

Figure 1:EvoLife 的任务覆盖与整体表现。 左侧包含视觉语言导航、物体导航、交互式实例导航和连续多任务导航四类任务;中间是统一 Harness;右侧展示八个模拟基准的成功率以及跨日实机导航。该图支持的结论是:论文关注的不是单一数据集算法,而是一个跨任务的统一执行框架。
二、相关工作与论文定位
1. 视觉语言导航与物体导航
R2R-CE、RxR-CE 等任务要求 Agent 根据自然语言指令在连续环境中行走;HM3D ObjectNav 与 OVON 则要求根据类别或开放词汇目标找到物体。二者对行动粒度的需求并不相同:前者强调路线与地标对齐,后者强调对象定位和精确停止。EvoLife 用同一动作接口覆盖两者。
2. 交互式导航
VL-LN、CoIN 等工作允许 Agent 通过问答消除实例歧义。EvoLife 的不同之处在于,交互不是一个只服务当前任务的旁路模块,而是与记忆写入相连:答案可以被绑定到地点,后续访问无需再次提问。
3. 连续与终身具身导航
LHPR-VLN 和 GOAT-Bench 强调同一序列中连续完成多个目标。传统方法往往维护拓扑图或探索地图,而 EvoLife 进一步开放语义记忆工具,让模型主动创建、检查和导航到历史地点。
4. 与 Agent Memory 系列的关系
EvoLife 与通用 Agent Memory 工作的差异,在于它的记忆不是抽象文本条目,而是带有姿态、图像、地图上下文和路线连接的地点记忆。它并未重点研究复杂的记忆检索算法,而是研究记忆如何嵌入行动与交互循环。
三、EvoLife 方法总览

Figure 2:EvoLife 统一框架。 多模态 Agent 在同一循环中选择混合导航动作、主动交互和记忆操作;执行反馈更新历史与持久记忆。图中的 C i C_i Ci 表示候选路点, P i P_i Pi 表示地点记忆, D i D_i Di 表示工具级决策, Q i / A i Q_i/A_i Qi/Ai 表示第 i i i 次问答。该图支持论文的核心主张:三个能力不是串联的独立插件,而是由同一个策略统一调度。
1. 状态定义
第 j j j 个任务给出目标 g j g_j gj。时刻 t t t 的环境状态、观察和工具历史分别为 x t x_t xt、 o t o_t ot 与 H t H_t Ht:
H t = ( ( a 0 , z 0 ) , ( a 1 , z 1 ) , … , ( a t − 1 , z t − 1 ) ) H_t=\big((a_0,z_0),(a_1,z_1),\ldots,(a_{t-1},z_{t-1})\big) Ht=((a0,z0),(a1,z1),…,(at−1,zt−1))
其中 a t a_t at 是 Agent 选择的动作, z t z_t zt 是执行器返回的结构化反馈。持久记忆写为:
M t = ( G t , P t , R t , D t ) M_t=(G_t,P_t,R_t,D_t) Mt=(Gt,Pt,Rt,Dt)
G t G_t Gt 是几何地图, P t P_t Pt 是语义地点集合, R t R_t Rt 是路线经验, D t D_t Dt 是历史对话。这个定义很重要:EvoLife 的 Memory 并非一个文本列表,而是几何、地点、路线和对话的组合状态。
2. 统一策略
冻结的多模态决策模型根据目标、当前观察、历史和记忆,同时选择工具与参数:
a t = ( u t , η t ) = π θ ( g j , o t , H t , M t ) a_t=(u_t,\eta_t)=\pi_\theta(g_j,o_t,H_t,M_t) at=(ut,ηt)=πθ(gj,ot,Ht,Mt)
u t u_t ut 表示工具, η t \eta_t ηt 表示该工具的参数。例如,工具可以是“移动到候选路点”,参数是候选编号;也可以是“询问引导者”,参数是一段自然语言问题。
3. 执行与记忆更新
环境适配器执行动作,并返回新状态、观察和反馈:
( x t + 1 , o t + 1 , z t ) = E ( x t , M t , a t ) \left(x_{t+1},o_{t+1},z_t\right)=E(x_t,M_t,a_t) (xt+1,ot+1,zt)=E(xt,Mt,at)
随后,记忆和历史分别更新:
M t + 1 = U ( M t , a t , z t , o t + 1 ) M_{t+1}=U(M_t,a_t,z_t,o_{t+1}) Mt+1=U(Mt,at,zt,ot+1)
H t + 1 = H t ∥ [ ( a t , z t ) ] H_{t+1}=H_t\Vert[(a_t,z_t)] Ht+1=Ht∥[(at,zt)]
这组公式表达了 EvoLife 最关键的系统逻辑:行动不只改变机器人的位置,也可能改变长期记忆;而记忆又会参与下一轮决策。
四、模块一:混合动作空间
1. 动机
如果让大模型每次只执行“前进 0.25 米”或“左转 15 度”,长距离导航会产生大量推理调用;若只允许高层路点,Agent 又很难在门口、家具附近和严格停止区域内精调。EvoLife 因此把四种移动方式放入同一集合:
A t m o v e = A t w p ∪ A l o c a l ∪ A t p i x e l ∪ A t o b j \mathcal{A}^{\mathrm{move}}_t=\mathcal{A}^{\mathrm{wp}}_t\cup\mathcal{A}^{\mathrm{local}}\cup\mathcal{A}^{\mathrm{pixel}}_t\cup\mathcal{A}^{\mathrm{obj}}_t Atmove=Atwp∪Alocal∪Atpixel∪Atobj
2. 四种动作
路点导航
系统根据 RGB-D 观察到的可通行几何生成候选路点。Agent 选择候选 C i C_i Ci,底层执行器负责局部规划与移动。它适合走廊、开放房间等中长距离移动。
局部离散动作
包含前进 0.25 米、左转 15 度和右转 15 度。它效率最低,却最适合狭窄空间、对准门口和目标附近的细粒度修正。
像素导航
Agent 在当前图像中选择一个像素,系统利用深度、相机内参与位姿将其投影为地面目标,再执行导航。这使“走到画面左侧门口”可以直接从视觉指向转化为运动目标。
面向物体的导航
系统先定位对象,再生成具有安全距离的可达站立位置,并在到达后重新验证。这类动作特别适合 HM3D-OVON 和 GOAT 中的物体目标。
3. 例子与意义
在长走廊中,Agent 可以先选择远处路点;进入房间后改用像素动作靠近目标;最终通过局部动作调整停止位置。这不是四套策略之间的人工切换,而是同一模型根据观察和反馈自主选择动作抽象。
五、模块二:主动交互
1. 动机
感知不确定性与任务歧义并不总能靠继续探索解决。与其让 Agent 在错误方向上消耗大量步数,EvoLife 允许它将“提问”作为工具调用。
2. 独立 Guide 的回答过程
Agent 生成问题 q t q_t qt 后,独立的多模态 Guide 根据对话历史和私有证据生成答案:
r t = O ψ ( q t , H t d l g , Ξ t ) r_t=\mathcal{O}_\psi(q_t,H_t^{\mathrm{dlg}},\Xi_t) rt=Oψ(qt,Htdlg,Ξt)
Ξ t \Xi_t Ξt 可以包含当前姿态、目标信息、最短路线、地图或路线图像。Guide 与 Navigator 使用独立上下文,Navigator 最终只收到自然语言回答,而不会直接看到这些私有结构化证据。

Figure 3:在线 Guide 的回答生成过程。 Navigator 主动提出问题,独立 Guide 结合当前视图、目标视图、参考路线和空间关系生成自然语言答复;只有答复被返回给 Navigator。该图一方面解释了交互为何有效,另一方面也揭示了实验协议中的特权信息来源。
3. 交互能解决什么
论文将交互用途概括为四类:
- 方向指导:应该穿过拱门还是进入旁边木门;
- 地标确认:当前看到的物体是否与指令描述一致;
- 目标消歧:多个相似实例中哪一个才是目标;
- 环境协助:实机遇到关闭的门时请求人类开门。
4. 为什么这不是普通问答模块
交互结果不仅加入当前上下文,还会进入对话记忆,并可与地点记录绑定。这样,“从这个拱门继续走才能到目标”的回答不再是一次性提示,而能成为下次经过该地点时可调用的历史证据。
六、模块三:持久空间记忆
1. 地点记忆结构
每个地点记录被定义为:
m i = ( i d i , p i , d i , O i , I i , D i , c i , τ i , σ i ) m_i=(id_i,p_i,d_i,O_i,I_i,D_i,c_i,\tau_i,\sigma_i) mi=(idi,pi,di,Oi,Ii,Di,ci,τi,σi)
各字段含义如下:
- i d i id_i idi:地点唯一标识;
- p i p_i pi:保存时的空间姿态;
- d i d_i di:地点名称与语义描述;
- O i O_i Oi:附近对象与地标;
- I i I_i Ii:历史视觉观察;
- D i D_i Di:与该地点相关的对话;
- c i c_i ci:地图和局部空间上下文;
- τ i \tau_i τi:时间信息;
- σ i \sigma_i σi:激活或退休状态。
这种设计让记忆同时回答三个问题:这里在哪里、这里是什么、过去在这里发生过什么。
2. Agent 主动管理的工具
remember_place:创建或更新地点记录;search_memory:按文本条件查找地点;inspect_place:查看历史图像和更详细证据;navigate_place:直接导航到已保存地点;resume_navigation:从历史地图和路线状态恢复执行。
几何地图、路线和对话会由系统自动维护;是否把某个位置提升为语义地点,则由 Agent 选择。这种分工避免模型手工维护所有底层几何,同时保留高层记忆管理能力。
3. 从交互到记忆的完整例子

Figure 4:R2R-CE 中的交互与记忆案例。 Agent 不确定木门是否为目标,于是提出第二个问题 Q 2 Q_2 Q2;Guide 的回答 A 2 A_2 A2 指示其穿过狭窄拱门,Agent 随后把入口保存为地点 P 2 P_2 P2。该图直观展示了“发现不确定性—主动询问—改变行动—写入地点记忆”的闭环。
首次访问时,Agent 可能经过以下过程:
- 观察到木门和拱门,无法确认路线;
- 主动询问哪一个方向符合指令;
- 根据回答穿过拱门;
- 将拱门入口、位置、图像和对话保存为 P 2 P_2 P2;
- 重访时直接调用
navigate_place(P_2),无需再次提问。
4. 对“检索增强记忆”的准确理解
EvoLife 支持搜索、检查与地点导航,但论文的工具审计显示:GPT 的 100 次重访中,navigate_place 调用 216 次,inspect_place 调用 53 次、覆盖 47 个 episode;19 次显式搜索全部是空查询列表。因此,结果能够证明 Agent 确实访问并复用了地点记忆,却不能证明它形成了一套稳定的“语义查询—图像核验—导航”检索流水线。
七、实验设置
1. 基准与任务覆盖
论文在 Habitat 中评测八个基准、四类任务:
任务族 基准 规模 主要能力 视觉语言导航 R2R-CE, RxR-CE 100 + 100 指令跟随与路线理解 物体导航 HM3D-OVON, HM3D v2 100 + 100 开放词汇与类别目标 交互式实例导航 VL-LN, CoIN 100 + 100 问答消歧 连续多任务导航 LHPR-VLN, GOAT 50 + 50 个序列 跨阶段经验保持 \begin{array}{c|c|c|c}\textbf{任务族}&\textbf{基准}&\textbf{规模}&\textbf{主要能力}\\\hline\text{视觉语言导航}&\text{R2R-CE, RxR-CE}&100+100&\text{指令跟随与路线理解}\\\text{物体导航}&\text{HM3D-OVON, HM3D v2}&100+100&\text{开放词汇与类别目标}\\\text{交互式实例导航}&\text{VL-LN, CoIN}&100+100&\text{问答消歧}\\\text{连续多任务导航}&\text{LHPR-VLN, GOAT}&50+50\text{ 个序列}&\text{跨阶段经验保持}\end{array} 任务族视觉语言导航物体导航交互式实例导航连续多任务导航基准R2R-CE, RxR-CEHM3D-OVON, HM3D v2VL-LN, CoINLHPR-VLN, GOAT规模100+100100+100100+10050+50 个序列主要能力指令跟随与路线理解开放词汇与类别目标问答消歧跨阶段经验保持
Table 1:八个评测基准及采样规模。 单任务基准各评测 100 个 episode;LHPR-VLN 包含 50 个序列、133 个阶段,GOAT 包含 50 个序列、372 个子任务。总体为 700 个完整 episode、1,105 个子任务。
2. 模型与硬件
主实验的 Navigator 和 Guide 均使用 GPT-6 Astra(ultra),但二者上下文隔离;骨干对比还包括 Qwen3.8-Max(xhigh)和 DeepSeek V4.1-Flash(max)。实验运行在单张 NVIDIA RTX PRO 6000 Blackwell 上。
Navigator 获得四方向 RGB 视图、由深度构建的观察几何和模拟器当前位姿;Guide 可访问目标和参考路线等特权证据。每个子任务原则上最多允许 10 次交互,但附录披露不同实验保留了若干不同问题上限设置。
3. 评价指标
- SR:停止位置满足成功阈值的比例;
- OSR:轨迹过程中是否曾进入成功区域;
- NE:最终位置到目标的导航距离;
- SPL:以成功率和路径效率共同衡量导航;
- nDTW:轨迹与参考路线的一致性;
- NQ:平均交互次数;
- ND:平均工具级决策次数;
- ISR/CSR/CGT:连续任务中的阶段成功、完整序列成功和目标完成率。
不同基准的成功阈值不同:R2R/RxR 为 3 米,LHPR 为 1 米,OVON、VL-LN、CoIN 与 GOAT 为 0.25 米认可视点,HM3D v2 更严格,为 0.1 米。
八、主要实验结果
1. 四个经典导航基准
基准 NE ↓ OSR ↑ SR ↑ SPL ↑ R2R-CE 0.95 100 100 82.2 RxR-CE 0.71 100 100 75.4 HM3D v2 0.04 − 100 64.3 HM3D-OVON 0.10 100 100 71.4 \begin{array}{c|c|c|c|c}\textbf{基准}&\textbf{NE}\downarrow&\textbf{OSR}\uparrow&\textbf{SR}\uparrow&\textbf{SPL}\uparrow\\\hline\text{R2R-CE}&0.95&100&100&82.2\\\text{RxR-CE}&0.71&100&100&75.4\\\text{HM3D v2}&0.04&-&100&64.3\\\text{HM3D-OVON}&0.10&100&100&71.4\end{array} 基准R2R-CERxR-CEHM3D v2HM3D-OVONNE↓0.950.710.040.10OSR↑100100−100SR↑100100100100SPL↑82.275.464.371.4
Table 2:R2R-CE、RxR-CE、HM3D v2 与 HM3D-OVON 结果。 EvoLife 在四组各 100 个 episode 的采样集上都达到 100% SR;R2R 的 SPL 为 82.2,说明高层动作与交互不仅提高到达率,也保留了较高路径效率。
这些数字非常亮眼,但不应直接理解为统一协议下击败所有既有方法。表中的基线来自已发表结果,其传感器、评测样本、停止规则和是否允许外部交互并不一致。EvoLife 还使用模拟器位姿和特权 Guide,因此这张表更适合说明框架的任务适用性,而不是严格排行榜结论。
2. 交互式与连续任务
基准 SR SPL ISR CSR/e-SR NQ VL-LN 99.0 76.2 − − 3.21 CoIN 100 73.5 − − 2.83 LHPR-VLN 98.0 − 99.3 98.0 2.56 / 阶段 GOAT 99.3 81.9 − 94.0 1.18 / 子任务 \begin{array}{c|c|c|c|c|c}\textbf{基准}&\textbf{SR}&\textbf{SPL}&\textbf{ISR}&\textbf{CSR/e-SR}&\textbf{NQ}\\\hline\text{VL-LN}&99.0&76.2&-&-&3.21\\\text{CoIN}&100&73.5&-&-&2.83\\\text{LHPR-VLN}&98.0&-&99.3&98.0&2.56/\text{阶段}\\\text{GOAT}&99.3&81.9&-&94.0&1.18/\text{子任务}\end{array} 基准VL-LNCoINLHPR-VLNGOATSR99.010098.099.3SPL76.273.5−81.9ISR−−99.3−CSR/e-SR−−98.094.0NQ3.212.832.56/阶段1.18/子任务
Table 3:交互式实例导航和连续多任务导航结果。 VL-LN 与 CoIN 表明交互能够解决目标歧义;LHPR-VLN 完成 49/50 个完整序列、132/133 个阶段;GOAT 完成 47/50 个完整序列,按子任务统计为 369/372。
这里最值得注意的是完整序列指标。单个子任务成功率接近 100%,但只要一个长序列中有一个阶段失败,完整序列就会失败,因此 GOAT 的 e-SR 降为 94%。这比只看 pooled subtask SR 更能反映长期 Agent 的累积风险。
3. 失败案例说明了什么

Figure 5:GOAT-Bench 失败案例。 第 4 个子任务成功找到图片;第 5 个子任务通过交互正确辨认出带菱形格子的书架,但最终停止位置距参考目标 0.73 米,超过 0.25 米阈值。该图说明语言确认可以解决“是不是这个物体”,却不能替代精确的几何停止控制。
这是全文最有价值的反例。Agent 的语义判断没有错,Guide 也确认了目标身份,但任务仍失败。它揭示了交互信息与执行精度之间的边界:知道目标是谁,不等于机器人已经站在评测认可的位置。
九、主动交互与记忆消融
1. 三种条件
作者在相同的 100 个 R2R 任务上比较:
- 冷启动:无交互、无初始记忆;
- 首次访问:允许主动交互、无初始记忆;
- 记忆重访:加载首次访问记忆、不允许现场交互。
模型 交互 初始记忆 SR SPL Steps Time(s) GPT-6 Astra × × 86 63.7 94.06 170.17 GPT-6 Astra ✓ × 100 82.2 70.12 164.08 GPT-6 Astra × ✓ 100 93.3 54.43 107.41 DeepSeek V4.1 × × 55 39.5 136.64 361.21 DeepSeek V4.1 ✓ × 98 70.8 118.44 459.12 DeepSeek V4.1 × ✓ 99 86.0 69.47 141.36 \begin{array}{c|c|c|c|c|c|c}\textbf{模型}&\textbf{交互}&\textbf{初始记忆}&\textbf{SR}&\textbf{SPL}&\textbf{Steps}&\textbf{Time(s)}\\\hline\text{GPT-6 Astra}&\times&\times&86&63.7&94.06&170.17\\\text{GPT-6 Astra}&\checkmark&\times&100&82.2&70.12&164.08\\\text{GPT-6 Astra}&\times&\checkmark&100&93.3&54.43&107.41\\\hline\text{DeepSeek V4.1}&\times&\times&55&39.5&136.64&361.21\\\text{DeepSeek V4.1}&\checkmark&\times&98&70.8&118.44&459.12\\\text{DeepSeek V4.1}&\times&\checkmark&99&86.0&69.47&141.36\end{array} 模型GPT-6 AstraGPT-6 AstraGPT-6 AstraDeepSeek V4.1DeepSeek V4.1DeepSeek V4.1交互×✓××✓×初始记忆××✓××✓SR86100100559899SPL63.782.293.339.570.886.0Steps94.0670.1254.43136.64118.4469.47Time(s)170.17164.08107.41361.21459.12141.36
Table 4:主动交互与持久记忆的对照实验。 对 GPT-6 Astra,交互把 SR 从 86% 提高到 100%、SPL 从 63.7 提高到 82.2;加载首次访问经验后,即使禁用现场交互,SR 仍为 100%,SPL 进一步升至 93.3,同时平均步数和时间明显下降。
2. 如何解释提升
首次访问时,交互帮助 Agent 避免错误分支、确认地标和目标;重访时,保存的地点、图像、路线和对话把这部分信息直接带回决策上下文。GPT 重访的平均工具决策从 15.57 降至 12.31,运动步数从 70.12 降至 54.43,时间从 164.08 秒降至 107.41 秒,说明记忆的价值不只体现在成功率,也体现在减少探索与推理调用。
3. 这不是“新任务泛化”实验
重访条件加载的是对应首次访问的地点、图像、外部对话、原始指令和停止摘要。因此,它证明的是同一任务经验能够被保存并复用,而不是学到一条可迁移到全新目标或新指令的通用策略。将 82.2 到 93.3 的 SPL 提升描述为“终身泛化能力”会超出实验支持范围。
4. DeepSeek 数字的审计边界
附录披露,DeepSeek 原始重访结果为 98% SR、85.02 SPL。主表中的 99% SR、86.02 SPL 来自对 episode 1051 的离线终点裁定:使用其已经选择过的首次访问停止点进行反事实计分,而不是一次新增的实际成功轨迹。因此,文章引用主表数字时必须同时保留这一说明。
5. 交互是否只是在最后确认答案
作者额外做了“首次到达确认请求时直接 STOP”的诊断,保留此前交互,但不根据最后确认继续调整:
基准 OSR SR SPL NE R2R-CE 91 90 74.0 1.44 RxR-CE 97 95 71.6 1.06 HM3D-OVON 72 69 51.1 1.57 HM3D v2 92 89 57.5 0.31 \begin{array}{c|c|c|c|c}\textbf{基准}&\textbf{OSR}&\textbf{SR}&\textbf{SPL}&\textbf{NE}\\\hline\text{R2R-CE}&91&90&74.0&1.44\\\text{RxR-CE}&97&95&71.6&1.06\\\text{HM3D-OVON}&72&69&51.1&1.57\\\text{HM3D v2}&92&89&57.5&0.31\end{array} 基准R2R-CERxR-CEHM3D-OVONHM3D v2OSR91977292SR90956989SPL74.071.651.157.5NE1.441.061.570.31
Table 5:去除到达确认后续调整的诊断结果。 R2R 仍达到 90% SR,高于完全无交互的 86%,说明较早的方向与地标提示确实有贡献;但物体导航下降明显,说明严格停止仍高度依赖最终确认与位置修正。
十、不同决策骨干的表现
模型 SR SPL ND NQ Time(s) Cost 特点 GPT-6 Astra 100 82.2 15.57 1.66 164.08 $ 1.06 偏好远距离路点 Qwen3.8-Max 91 70.2 72.98 1.59 906.20 $ 0.46 更多局部动作 DeepSeek V4.1 98 70.8 44.72 3.21 459.12 $ 0.03 更频繁求助 \begin{array}{c|c|c|c|c|c|c|c}\textbf{模型}&\textbf{SR}&\textbf{SPL}&\textbf{ND}&\textbf{NQ}&\textbf{Time(s)}&\textbf{Cost}&\textbf{特点}\\\hline\text{GPT-6 Astra}&100&82.2&15.57&1.66&164.08&\$1.06&\text{偏好远距离路点}\\\text{Qwen3.8-Max}&91&70.2&72.98&1.59&906.20&\$0.46&\text{更多局部动作}\\\text{DeepSeek V4.1}&98&70.8&44.72&3.21&459.12&\$0.03&\text{更频繁求助}\end{array} 模型GPT-6 AstraQwen3.8-MaxDeepSeek V4.1SR1009198SPL82.270.270.8ND15.5772.9844.72NQ1.661.593.21Time(s)164.08906.20459.12Cost$1.06$0.46$0.03特点偏好远距离路点更多局部动作更频繁求助
Table 6:R2R-CE 上的骨干模型比较。 同一工具框架可以适配三个模型,但动作选择风格差异显著。GPT-6 Astra 更愿意使用长距离路点,因此决策数与时间最低;Qwen 和 DeepSeek 更保守,频繁使用局部动作。
成本数字仅统计 Navigator 侧 API 等价费用,不含 Guide 调用,也不是经账单核验的完整系统成本。Qwen 的最终行还包含 4 次 STOP 接口诊断重跑,因此不能把这张表当成完全同条件的模型价格榜。
十一、实机实验

Figure 6:跨两天的实机连续导航。 Task 1 从 625 房间到电梯并记录沿途地点;Task 2 利用记忆返回 625,遇到关门后主动请求人类帮助;Task 3 在次日恢复匹配地图并前往前一天访问的玻璃办公室。该图支持“记忆可跨会话保留、交互可处理环境变化”的定性结论。
实机展示补充了模拟器难以覆盖的两点:环境会变化,记忆也要跨天恢复。不过论文没有给出大规模真实机器人成功率、定位漂移或地图匹配误差,所以这部分应视为可行性案例,而不是量化验证。
十二、与既有 Agent Memory 方法横向比较
方法 记忆核心 写入方式 检索/复用 EvoLife 的差异 A-MEM 动态关联笔记 LLM 生成与链接 语义关联检索 强调空间姿态和行动接口 MAGMA 多图、多粒度结构 结构化更新 跨图检索 结构更简单,但直接连接机器人执行 CoM 压缩的可执行经验 经验归纳 按任务调用 保存地点证据而非抽象策略 ReMemR1 可回看的历史记忆 边读边写并回调 Callback Retrieval 回看发生于空间行动循环 Mem 2 Evolve 可演化记忆系统 持续自更新 适应任务变化 EvoLife 未学习记忆策略,只提供工具 EvoLife 地点、地图、路线与对话 自动记录+Agent 选择 搜索、检查、直接导航 把交互知识转成可执行空间经验 \begin{array}{c|c|c|c|c}\textbf{方法}&\textbf{记忆核心}&\textbf{写入方式}&\textbf{检索/复用}&\textbf{EvoLife 的差异}\\\hline\text{A-MEM}&\text{动态关联笔记}&\text{LLM 生成与链接}&\text{语义关联检索}&\text{强调空间姿态和行动接口}\\\text{MAGMA}&\text{多图、多粒度结构}&\text{结构化更新}&\text{跨图检索}&\text{结构更简单,但直接连接机器人执行}\\\text{CoM}&\text{压缩的可执行经验}&\text{经验归纳}&\text{按任务调用}&\text{保存地点证据而非抽象策略}\\\text{ReMemR1}&\text{可回看的历史记忆}&\text{边读边写并回调}&\text{Callback Retrieval}&\text{回看发生于空间行动循环}\\\text{Mem}^{2}\text{Evolve}&\text{可演化记忆系统}&\text{持续自更新}&\text{适应任务变化}&\text{EvoLife 未学习记忆策略,只提供工具}\\\text{EvoLife}&\text{地点、地图、路线与对话}&\text{自动记录+Agent 选择}&\text{搜索、检查、直接导航}&\text{把交互知识转成可执行空间经验}\end{array} 方法A-MEMMAGMACoMReMemR1Mem2EvolveEvoLife记忆核心动态关联笔记多图、多粒度结构压缩的可执行经验可回看的历史记忆可演化记忆系统地点、地图、路线与对话写入方式LLM 生成与链接结构化更新经验归纳边读边写并回调持续自更新自动记录+Agent 选择检索/复用语义关联检索跨图检索按任务调用Callback Retrieval适应任务变化搜索、检查、直接导航EvoLife 的差异强调空间姿态和行动接口结构更简单,但直接连接机器人执行保存地点证据而非抽象策略回看发生于空间行动循环EvoLife 未学习记忆策略,只提供工具把交互知识转成可执行空间经验
Table 7:EvoLife 与典型 Agent Memory 方法的定位比较。 EvoLife 的记忆组织创新弱于 MAGMA 或 A-MEM,但它把记忆与物理行动、外部求助和空间坐标真正接通,这是其独特价值。
十三、对 Coding Agent 与 Tool Agent 的启发
1. Coding Agent:主动提问应该与项目记忆绑定
Coding Agent 遇到含糊需求时,通常要么猜测,要么向用户提问。EvoLife 提示我们:回答不应只留在当前聊天里,而应与具体仓库、模块和决策位置绑定。例如,用户说明“支付失败必须重试三次”后,Agent 可以把该约束写入支付模块的项目记忆;下次修改相关代码时直接恢复,而不是重复询问。
2. Tool Agent:工具应提供不同抽象层级
混合动作空间对应到软件 Agent,就是同时提供高层与低层工具:高层工具负责“部署服务”“迁移数据库”,低层工具负责编辑单个文件、执行一条命令。强制所有任务走低层工具会产生过多推理回合;只给高层工具又难以处理异常。让 Agent 自主选择粒度,比固定工作流更灵活。
3. 将外部反馈保存为可执行经验
Tool Agent 从人类或其他 Agent 获得的反馈,应与触发问题、环境状态和成功操作共同保存。未来遇到相似状态时,不只是检索一段文本,而是直接恢复到可执行步骤或工具参数。
4. 记忆评测不能只看命中率
EvoLife 最有说服力的指标不是“检索到了多少记忆”,而是重访时步数、决策数和执行时间下降。对 Coding Agent 也应类似:记忆是否减少重复搜索、降低工具调用次数、提高一次修复成功率,比纯语义召回更重要。
十四、局限性与批判性分析
1. 系统集成贡献大于算法贡献
EvoLife 没有训练新模型,也没有提出新的记忆检索损失、地图学习算法或交互策略优化方法。论文的主要贡献是把现有能力通过工具接口整合起来。若把它表述为“新的终身学习算法”,会夸大方法性质。
2. Guide 拥有特权信息
Guide 可以看到目标、最短路线和地图等 Navigator 不可见信息。虽然只返回自然语言,但回答仍可能携带决定性的方向和停止线索。因此,EvoLife 的结果衡量的是“可主动访问外部专家的 Agent”,不能与完全封闭的导航方法直接同列。
3. 使用理想定位与模拟器几何
Navigator 获得当前模拟器位姿,并使用 RGB-D 构建观察几何。真实机器人中的定位漂移、深度噪声、动态障碍和地图错配会显著增加难度;实机案例尚不足以量化这些影响。
4. 重访范围有限
R2R 记忆实验复用的是同一批任务的首次访问经验,其中包含原指令和停止摘要。这证明“记住一次经历”有效,却没有回答记忆能否组合、迁移到新目标,或在环境长期变化后自动淘汰过期内容。
5. 缺少关键记忆消融
论文没有系统拆分地点文本、历史图像、路线、对话和地图各自的贡献,也没有 GOAT 的 memory-reset 对照。因而难以判断连续任务高成功率究竟有多少来自持久记忆,多少来自强模型、当前地图和 Guide。
6. 表格比较协议不统一
论文同时引用公开基线和自己的 100 样本结果,但传感器、样本、交互权限与阈值不完全相同。附录还披露 Qwen 选择性重跑、DeepSeek 离线终点裁定和不同问题上限。这些信息提升了透明度,也说明主表数字应谨慎解读。
7. 延迟与成本
多轮模型推理、工具执行和外部交互导致明显延迟。即使 GPT 平均每个 R2R episode 的 Navigator 活跃时间也达到 164 秒;Qwen 达到 906 秒。长期真实机器人若持续调用云端大模型和 Guide,成本、网络稳定性与响应时间都会成为瓶颈。
十五、我的理解与启发
1. 记忆系统的上限由“经验获取机制”决定
过去讨论 Agent Memory 时,我们容易把注意力集中在如何存、如何检索。但 EvoLife 提醒我们:如果 Agent 不会在信息不足时主动问,那么写入记忆的只是一次不确定的观察。高质量记忆的前提,是 Agent 能主动补齐证据。
2. 真正有用的记忆必须能改变行动
EvoLife 的地点记忆最终可以作为 navigate_place 的参数,这比仅把文本片段塞回 Prompt 更接近“程序性记忆”。一条记忆是否有价值,不应只看它被召回,而应看它能否减少未来的探索、推理和错误行动。
3. 交互与记忆是一对互补机制
交互负责从外部获得新知识,记忆负责让知识跨任务保值。没有交互,Agent 可能只是在保存自己的错误判断;没有记忆,外部帮助又会在会话结束后消失。EvoLife 最值得借鉴的不是某个字段设计,而是二者之间的闭环。
4. “100% 成功”不等于问题已经解决
论文的高 SR 建立在强模型、特权 Guide、理想位姿和采样子集之上;失败案例又说明,语义上找到目标仍可能因 0.25 米阈值失败。真正的终身具身智能还必须处理定位漂移、记忆冲突、过期经验、开放世界变化和长期成本。
5. 下一步最值得做的方向
我认为沿着 EvoLife 继续推进,最关键的不是增加更多工具,而是让 Agent 学会三件事:
- 学习何时提问,使信息收益覆盖交互成本;
- 学习何时写入、合并或遗忘地点,避免记忆无限膨胀;
- 学习判断历史经验是否仍适用于变化后的环境。
当这些策略从 Prompt 选择升级为可训练、可审计的决策机制时,EvoLife 才会从“统一 Harness”进一步走向真正的终身学习 Agent。
十六、总结
EvoLife 提供了一套面向终身具身导航的统一工具框架:冻结的多模态 Agent 可以在路点、局部、像素和对象动作之间自适应选择,在不确定时主动向外部 Guide 提问,并把地点、图像、路线和对话保存为可跨任务复用的空间记忆。
实验显示,主动交互能显著提高首次访问成功率,而记忆重访能在不再提问的情况下维持成功率并减少步数、决策与时间。与此同时,特权 Guide、理想定位、同任务重访和若干协议差异意味着这些结果更适合证明系统闭环的可行性,而不是宣告通用导航问题已经解决。
一句话总结:EvoLife 的价值不在于发明一种更复杂的记忆结构,而在于让 Agent 把“行动中主动问到的答案”沉淀成下一次可以直接执行的空间经验。
参考资料
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)