第一部分 ABot-AgentOS: A General Robotic Agent OS with Lifelong Multi-modal Memory

1.1 引言

如原论文所述，具身智能正迅速将人工智能从数字环境推进到物理世界。近期在视觉-语言模型（Vision-Language Models, VLMs）以及视觉-语言-动作系统方面的突破，使机器人获得了前所未有的自然语言理解、视觉场景理解、导航以及动作预测能力 [10,13,14,17,27,48,87,93]

然而，在“理解”与“行动”之间依然存在关键鸿沟：

1. 如何将高层语义推理转化为可靠的、多步的物理执行？
2. 如何在无需大量重新训练的情况下，使能力能够在多样的机器人形态之间实现泛化？
3. 又如何让机器人构建用于持续交互的长期、持久记忆？

这些都是必须解决的基础性挑战，只有攻克这些问题，才能真正推动具身智能体从实验室原型走向实用且可规模化的系统

有三条相关研究路线指向了一种潜在的解决方案，但目前彼此之间仍然只部分衔接

1. 首先，在广义的双系统理论（Dual-System Theory）[73] 动机驱动下，机器人基础模型系统开始将快速的感知-动作策略与较为缓慢的深度推理结合起来
   Galaxea G0 [36]、Hi Robot [67] 以及 RoboBrain系列工作 [35,72] 展示了 VLA 模型与分层机器人智能如何把抽象的概念性表征与具体的运动执行连接起来
   
   受大脑启发的系统（如 RoboMemory [43] 和 Agentic Robot [103]）则进一步探索了面向具身智能体的记忆架构和认知分解机制。这些工作大幅推动了机器人从感知到动作的映射能力，但往往仍然受限于特定的模型栈、具身形态或控制接口
2. 其次，通用智能体（agent）的研究已经展示了显式推理、工具使用以及可执行工作流的价值
   ReAct [104]、Toolformer [66] 和 SWE-agent [97] 表明，语言模型可以在推理过程中交织执行动作并调用外部工具；
   更新一代的智能体系统，如 OpenAI Operator [59]、ChatGPT agent [58] 和Claude computer use [3]，则将这一理念扩展到了交互式数字环境
   诸如 OSWorld [90] 等基准进一步揭示，即便是性能强大的多模态智能体，在开放式、长时间跨度的任务执行上依然存在困难
   
   在机器人领域，Gemini Robotics [29]、SayCan [1]、Inner Monologue [33]、Voyager [76] 和AutoGen [86] 等系统展示了具身技能使用、反馈机制、可复用技能以及智能体专业化的重要性
   然而，物理世界中的执行又引入了多数软件智能体所没有的额外约束：部分可观测性、执行不确定性、任务完成信号的模糊性，以及必须验证计划动作是否真正改变了现实世界的需求
3. 第三，面向智能体的长期记忆已经从早期生成式智能体 [62] 中的记忆流和反思机制，发展到MemoryBank、MemGPT 和 Mem0 [15,61,115] 所采用的持久化用户记忆、分层上下文管理以及可扩展的记忆基础设施
   
   这些系统表明，智能体不应仅依赖当前的提示信息或参数化模型中的记忆。然而，具身智能体需要更强大的底层支撑：记忆必须能够将对话、自我中心视角的视觉证据、对象状态、人物或动物身份、地点、时间关系、空间关系、来源信息以及机器人任务轨迹进行绑定，并以一种在未来物理交互中可以被检索和审计的形式加以存储

综上所述，现有系统仍然存在三个空白

1. 首先，是推理与执行之间的鸿沟：许多基于基础模型的机器人系统要么将模型输出直接映射为动作，要么依赖单块式流水线，缺少一个用于任务分解、工具调用、技能委派、结果验证、失败恢复以及多步逻辑推理的中间智能体层
2. 其次，是具身与泛化之间的鸿沟：机器人智能体系统往往与特定硬件、控制 API 或环境假设高度耦合，从而使跨形体迁移成本高昂
3. 第三，是持久具身记忆的鸿沟：短期缓冲区、纯文本缓存或任务特定记忆模块无法在长时交互过程中可靠地保留多模态、关系化且可溯源于数据源的经验

这些空白同时也暴露出评测方面的需求：长时序具身智能体需要的基准测试应超越单一的导航、操作或 VQA 任务，而是评估可执行的多场景情境，包含动态事件、交互过程以及基于完整交互轨迹的评分机制

为弥合这些差距，来自的研究者提出了 ABot-AgentOS——一种通用机器人智能体操作系统（General Robotic AgentOperating System），它在低层控制器之上提供可复用的智能体层，用于具身推理、记忆、工具使用、结果校验以及跨具身形态执行

总之，ABot-AgentOS 构建在强大的 VLM（视觉语言模型）和机器人技能接口之上，构造出一个连接认知推理与物理执行的完整智能体操作系统（Agent OS）

1.2 智能体框架

1.2.1 架构概览

ABot-AgentOS 是一款面向通用机器人的智能体操作系统，专为具身智能而设计，在机器人硬件和底层控制器之上提供一个审慎推理（deliberative）的智能体层

ABot-AgentOS 并不替代现有控制栈，而是提供一个统一的认知层，在不同类型的机器人平台（包括人形机器人、四足机器狗、移动操作机器人以及机械臂）上连接多模态感知、记忆、推理、规划与技能执行

ABot-AgentOS 从麦克风、移动应用、摄像头及其他传感器接收多模态输入，并将其映射到一个用于感知、推理和行动的运行时循环中

首先是下图中 中间的两个部分

即，第一，其运行时采用边缘-云协同的大语言模型（LLM）架构：

• 一个轻量级的 Tiny LLM 运行在边缘侧，在每个交互轮次中提供低延迟的感知、指令理解、状态跟踪以及常规决策能力
• 当任务需要更复杂的推理、长时间尺度的规划或歧义消解时，系统可以向云端的大型 Large LLM 请求支持，在按需调用的方式下提供更强的语义理解和规划能力

第二，Agent Harness 层包含三个关键组件：具备验证功能的 ReAct、上下文管理以及技能进化。该层将提示词、工具、API 和执行协议组织为一个可靠的智能体循环

1. 具备验证功能的 ReAct，即Verification-aware ReAct
   在原有 ReAct 之上添加了一个验证器模块，以提升智能体系统的鲁棒性
2. 上下文管理Context Management
   从观测结果、对话历史、机器人状态和记忆中选择、压缩并检索相关信息
3. 技能进化Skill Evolvement
   使智能体能够通过与物理世界的持续交互来优化、复用并扩展其技能集合

其次，是下图中的最上面部分和最下面部分

• 即第三，在运行时之上，ABot-AgentOS 将机器人能力抽象为统一的技能与工具层，包括操作技能[101]、导航技能[18,98,99]、运动控制、视觉以及其他可扩展工具，如下图最上面的部分所示

  

  通过这种抽象，同一套智能体系统可以跨不同的机器人形态运行，同时复用高层推理和任务规划逻辑
• 第四，ABot-AgentOS 的核心组件之一是其多模态记忆系统，该系统由边缘侧私有记忆和云端公共记忆组成
  
    私有记忆用于存储与机器人相关的特定信息，例如地图、语义知识、多模态交互历史、用户偏好以及本地环境经历，从而实现个性化和隐私保护的运行
    公共记忆则汇聚可共享的知识，例如可复用的地图表示和通用任务经验，并通过上传/下载机制支持不同机器人之间的知识迁移
  通过这种方式，单个机器人既可以从自身的具身经验中持续学习，又能够受益于其他智能体累积的集体知识

总体而言，ABot-AgentOS 将边缘智能、云端推理、多模态记忆和模块化技能执行整合为一个统一的通用机器人智能体操作系统。通过将高层认知与具体硬件形态解耦，它为构建能够在真实世界环境中进行感知、记忆、推理、行动并持续进化的具身智能体，提供了一个可扩展的基础

1.2.2 智能体框架

作者还提出了一种用于长时域具身任务的分层 LLM 智能体框架

1. 其核心动机在于，具身智能体不仅要能够理解自然语言指令，还必须能够理解所处场景：其中包括指令所依托的上下文、当前的执行阶段，以及在何种条件下可以认为任务已经完成
   
   与代码代理和普通的工具使用型代理（例如通过代理-计算机接口用于软件工程的 SWE-agent[97]
   用于基于 API 的工具使用的 Toolformer [66]
   以及用于交替推理与行动的 ReAct [104]）不同
   
   具身代理在中间步骤上往往缺乏明确的完成信号，比如代理可能调用了一个导航命令，却并未真正离开当前位置；或者不断旋转并发生碰撞，但在语言层面仍然“认为”任务在向前推进
   
   因此，ABot-AgentOS的框架并不是简单地让 LLM 调用更多工具，而是将具身执行组织为一个由“推理—执行—验证”构成的闭环
2. 该框架将通常纠缠在单一控制器中的三种角色加以解耦：主LLM、Skill Runner，以及Verifier
   如图2所示，任务首先由一个主LLM进行处理。在记忆和上下文的支持下，主LLM观察任务、结合当前场景进行解释，并形成一个高层计划
   
   随后，它会决定是直接调用某个工具，还是将一个多步子任务委派给Skill Runner。Skill Runner是技能级别的子代理，在隔离的本地上下文中管理过程式执行，维护中间状态，处理反复的观测与动作，并将压缩后的结果返回给主LLM
   
   Verifier在运行时和结束时对执行过程进行监督，检查行为是否仍在取得进展、某个技能是否已经停滞，以及任务是否确已可以终止
   ————
   通过这样的循环，将LLM的推理锚定在环境事实之上，并减少在长时间跨度具身任务中的过程性漂移和过早终止

1.2.2.1 LLM：场景条件驱动的任务规划

主大型语言模型（LLM）在 Agent Harness 中充当语义规划器的角色。它的职责是结合当前场景、地图记忆、机器人状态、最近历史以及可用技能来解释用户指令，而不是为每一个底层动作发出指令。在执行之前，它会判断任务是否需要导航、搜索、人机交互、结果汇报、操作（操控）或额外的观察，并据此生成一个可被修订的高层次计划，同时为任务设定明确的完成条件

1. 这一规划步骤是以场景为条件的，而不是纯粹依赖语言。本质上，相同的指令在执行时，可能会因为智能体当前所在位置、可用的视觉证据、已知的地图结构、可到达的区域、附近物体以及过往的交互历史不同，而需要采用不同的执行策略
   
   因此，主LLM会推理：哪些信息已经足够，哪些必须通过观察或查询获得；在当前状态下哪些技能是可行的；以及哪些可观测条件可以构成任务完成的判据
2. 随着新的观测结果、工具反馈、技能总结以及验证器反馈进入上下文，计划会被不断更新。主LLM 决定应该优先追求哪个目标、在何时直接使用工具就足够、在何时应将子任务委派给 SkillRunner，以及在何时任务可能已经可以结束
   ————
   通过将本地执行细节排除在主要推理线程之外，智能体在允许底层技能处理具体流程细节的同时，得以保持全局任务状态的一致与连贯

1.2.2.2 用于过程执行的技能运行器

技能运行器负责处理需要持续本地执行的子任务

1. 一个技能并不被视作一次性工具调用或简单的动作宏；它由一个技能级子代理来执行，该子代理拥有一个隔离的本地上下文，其中包括子目标、最近的观测、技能状态、失败尝试以及恢复策略。主LLM接收的是压缩后的技能进度与结果，而不是完整的中间动作序列
   
   这种上下文隔离对于长时间跨度的具身任务非常重要，因为本地执行可能涉及重复的移动、观察、重定位、视角调整以及恢复操作。若将每一次本地碰撞、短程移动、失败尝试或视觉调整都附加到主 LLM 的上下文中，全局目标就会被这些过程性细节淹没。SkillRunner 在吸收这一局部复杂性的同时，保留主 LLM 进行高层阶段管理所需的信息
2. 在执行过程中，Skill Runner 通过检查任务是否在推进、决定何时需要进行额外观测或本地恢复，以及确定何时应将控制权交还给主 LLM，来维持过程上的连续性
   
   结束时，它会返回一个紧凑的语义摘要，说明子目标是否达成；
   如果未达成，则说明失败原因；并给出在场景中发现了哪些信息、尝试了哪些恢复操作，以及主 LLM 应该如何利用这一结果

1.2.2.3 多阶段验证

验证器解决的是语言层面信念与基于环境的执行结果之间的不匹配问题

1. 与许多可以通过测试、API 响应或页面状态等显式外部信号来检验成功与否的数字任务不同，具身任务通常要求代理声明的进度、具体执行轨迹以及观测到的场景状态三者之间保持一致
   
   因此，验证器通过检查近期行为表现、技能执行结果以及最终回答是否由环境证据支撑，而不仅仅是由代理自身的信念支撑，来对执行过程进行监督
2. 验证被应用在三个阶段
     运行时验证用于监控最近的轨迹与技能状态是否表明任务在有效推进，或相反地暴露出停滞、重复碰撞、局部循环，或者与当前计划不一致的行为
     技能级验证则检查被委派的子任务是否真正满足了其语义目标，而不是仅仅因为某个工具或子代理正常返回就视为成功
     完成时验证则在主 LLM 尝试结束任务时进行；在允许任务结束之前，它会综合评估最初的指令、当前的计划、执行历史、技能摘要、观测结果，以及交互过程中引入的任何新需求

因此，Verifier 不仅仅是一个最终的结果评估器，而是 Agent Harness 内部的监督信号。通过在委托执行之前、期间以及之后应用验证，ABot-AgentOS 可以将缺失的条件反馈回推理层，从而在开放式具身任务中减少停滞、误判以及过早终止

1.2.2.4 边缘-云协同路由

在实际部署中，并非每个任务都需要由云端的大规模模型来处理

• 常规请求通常可以由设备端的小模型和本地工具完成
• 而长时程的具身任务则可能需要更强的场景理解、规划、技能执行和结果验证能力

因此，ABot-AgentOS 采用了边缘-云协同路由层：设备端模型首先观察任务及其上下文，然后要么在本地直接处理请求，要么在任务较为复杂、需要更深入推理时将其升级转交给云端模型

这一设计遵循模型路由与分层推理的一般动机，即系统在具备不同能力与成本的模型之间进行选择 [4,11,56]。在作者的设定中，路由策略并非基于固定规则，而是由训练样本和执行反馈学习得到。它能够刻画：哪些请求可以可靠地由本地工具解决，哪些需要云端级别的规划，以及哪些在路由之前还需要进行额外观测

这样既能将时延和部署成本控制在可接受范围内，又能在需要更深层次、长时程推理的任务上保留云规模的处理能力

1.2.3 内存系统

要实现长时间跨度的具身交互，需要一种位于 LLM 上下文之外、可在会话之间持久存在、并以机器人自身经验为基础的记忆基底

1. 在 ABot-AgentOS 中，记忆系统就提供了这样的基底。它将观察结果、人机对话轮次、模型提取的语义事实、视觉证据、身份信息、对象状态、空间关系以及任务轨迹等，记录为以数据源为依据的记忆条目，并通过可追溯的检索机制，使累积的经验在后续推理步骤中可被利用
2. 记忆系统并非简单作为完整视频、全文对话记录或非结构化图像负载的原始存档，而是将多模态经验转换为紧凑的图记录，这些图包含带类型的实体、事件、关系、时间上下文以及来源信息
   这样的设计使得智能体能够回忆人物、动物、物体、地点、事件、时间事实、空间关系以及相应的证据来源，而不会使在线上下文窗口负载过重
3. 记忆系统位于在线运行时（online runtime）之下，用来补充上下文管理模块
     上下文管理负责决定当前提示（prompt）中应包含哪些信息，包括当前指令、角色策略、执行计划、最近观测以及反思总结
     记忆模块则决定哪些内容需要在当前回合（episode）结束后仍然保留，以及如何将相关的过去证据检索回当前上下文
   ————
   这种职责分离既防止了长期记忆退化为无结构的提示堆积，同时又允许智能体控制器在当前任务需要身份回忆、时间锚定、物体—位置回忆或带来源支撑的视觉证据时，利用持久化的经验

// 待更