机器人做十几分钟的家务，真正难的往往不是某一次抓取，而是同时记住两类完全不同的信息：眼前几秒里夹爪是否被遮挡、门刚才往哪边开，以及更早之前已经拿过哪些食材、还剩哪些步骤。把所有历史图像直接塞进 VLA，计算量会迅速失控；只把历史压成一句文本，又会丢失几何细节。MEM 的答案是把记忆拆成两个尺度：短期用稠密视频保留动作细节，长期用语言摘要记录任务进度，再由分层策略分别消费这两种记忆。

• 核心结构：高层 VLM 维护长期文本记忆并生成下一条子任务；低层 VLA 使用短期视频记忆生成动作块。
• 高效视频记忆：在 ViT 中交替加入空间注意力与因果时间注意力，上层只保留当前帧 token，避免历史长度把 VLA 主干拖慢。
• 训练方式：预训练阶段就引入数秒历史，后训练再扩展到 18 帧、约 54 秒；长期记忆标签由离线 LLM 将子任务与成败信息压缩而成。
• 主要结果：模型可完成最长约 15 分钟的真机任务；记忆使筷子抓取和冰箱开门的在上下文适应成功率分别提高 11 和 62 个百分点。
• 开源状态：论文与项目页已公开，但训练代码、配置、权重和数据均未公开；官方 openpi 只能作为 π0/π0.5 基座参考。

论文：arXiv:2603.03596
项目主页：Physical Intelligence — Memory
官方基座仓库：Physical-Intelligence/openpi
MEM 源码与权重：尚未公开

图 1 先给出了整篇论文最重要的关系：语言记忆负责已经做过什么，视频记忆负责刚才具体发生了什么。两者不是重复记录，而是在信息粒度和时间跨度上互补。

1、问题定义：机器人为什么需要两种记忆

传统端到端策略通常把最近若干帧观测作为条件。这个做法能缓解瞬时遮挡，却很难覆盖十几分钟的任务：历史帧越多，视觉 token 越多，注意力成本和推理延迟都会上升；大幅降采样又可能错过一次失败抓取、物体滑落或门的运动方向。

另一方面，任务进度本身并不需要逐帧保存。例如，牛奶已经放上台面、还差黄油，只需几个文本 token，但它必须跨越很长时间。MEM 因而把记忆按用途拆开：

记忆类型	时间范围	表示	主要解决的问题	使用者
短期视频记忆	最长约 54 秒	稠密视觉与本体状态	遮挡、失败重试、物体运动、操作策略适应	低层 VLA
长期语言记忆	单个 episode，最长约 15 分钟	压缩文本摘要	步骤完成情况、物品位置、任务进度	高层 VLM

MEM 的历史信息只作为条件进入分层动作策略。测试时输入是当前/历史相机观测、历史本体状态、任务指令和已有语言记忆，输出则是下一子任务与机器人动作。

2、整体架构：高层管进度，低层管动作

图 2 左侧是高层策略：它读取当前图像、目标和上一轮语言记忆，同时输出更新后的记忆与下一条语言子任务。右侧是低层策略：它读取子任务、短期视频、当前观测和本体状态，再由动作专家产生动作块。

论文将联合策略近似分解为：

$$\pi (a_{t:t+H},l_{t+1},m_{t+1}\mid o_{t-T:t},m_t,g)\approx {\pi }_{\mathrm{LL}}(a_{t:t+H}\mid o_{t-K:t},l_{t+1},g){\pi }_{\mathrm{HL}}(l_{t+1},m_{t+1}\mid o_t,m_t,g)$$

其中：

符号	含义	在模型中的作用
$g$	用户给出的任务目标	约束整个 episode
$o_{t-T:t}$	长时间范围内的观测历史	表示理论上可用的完整历史
$o_{t-K:t}$	最近 $K$ 帧观测，且 $K\ll T$	构成低层短期视频记忆
$m_t,m_{t+1}$	更新前、更新后的语言记忆	压缩长期任务进度
$l_{t+1}$	高层生成的下一子任务	连接高层规划与低层控制
$a_{t:t+H}$	长度为 $H$ 的动作块	由低层策略执行

这个分解带来一个清晰的工程边界：高层不必逐帧处理长视频，低层也不必从头推断整段任务进度。论文图中高低层分别绘制，但没有明确说明二者是否共享全部权重或来自同一 checkpoint，因此这一点应视为 未确认。

3、短期视频记忆：把历史压在视觉编码器里

3.1、空间—时间分离注意力

直接把 $K$ 帧、每帧 $n$ 个 patch 合并做全局注意力，复杂度近似为：

$$O(n^2{K}^2)$$

MEM 先在每一帧内部做空间注意力，再让同一空间位置跨时间做因果注意力，复杂度变为：

$$O(K{n}^2+n{K}^2)$$

$n$ 是单帧空间 patch 数，$K$ 是历史帧数。第一项对应逐帧空间注意力，第二项对应同一 patch 位置的时间注意力。论文具体实现为：每隔 4 个 ViT 层插入一次因果时间注意力，其余层沿用空间注意力。

图 4 的蓝色层表示时间注意力。关键不只是看更多帧，而是历史 token 在视觉编码器内部完成融合；到上层后，过去时刻的观测 token 被丢弃，只把当前时刻的表示送入 VLA 主干。这样，主干接收的 token 数不会随历史长度同比增长。

时间位置使用固定正弦编码，并令当前时刻的位置编码 $e(0)=0$：

$${\hat{z}}_{p,t}^{l-1}=z_{p,t}^{l-1}+e(t),e(0)=0$$

$z_{p,t}^{l-1}$ 是第 $l-1$ 层中空间位置 $p$、时间 $t$ 的 token；$\hat{z}$ 是加入时间位置后的 token；$e(t)$ 表示相对时间。令 $e(0)=0$ 的直接好处是，当 $K=1$ 时可以与原图像 ViT 完全一致地初始化，而且视频编码器相对基础图像 ViT 不新增可学习参数。

3.2、延迟为何没有随帧数爆炸

图 3 测量的是 π0.6 VLA 在单张 NVIDIA H100、四路相机输入下的视频编码推理时间。把所有观测直接送入主干的朴素方案在 16 帧时超过 3.5 秒，而 MEM 视频编码器仍低于 300 ms。这里不能把图中数值当成完整机器人控制周期：论文没有给出从相机采集、动作解码到机器人执行的端到端延迟拆分。

4、长期语言记忆：重点不是追加，而是压缩

简单做法是把历史子任务不断拼到上下文中，但论文消融表明这种 Naive Text + Video Memory 明显弱于 MEM。原因是训练演示通常接近最优，同一子任务只出现一次；真实推理时机器人却可能连续失败，高层反复生成相同指令。直接追加会制造明显的训练—推理分布偏移。

MEM 的长期记忆标签由离线流程产生：先收集 episode 的子任务注释和成败标记，再交给一个现成 LLM，只保留之后仍有用的信息并删除过时内容。作者没有公开该 LLM 的名称、完整提示词或质量控制规则。训练目标可概括为：

1. 输入当前图像、任务目标和上一轮记忆；
2. 预测下一条子任务；
3. 同时预测更新后的语言记忆；
4. 对连续失败的尝试不盲目写入长期记忆，通常等子任务成功后再更新完成状态。

例如机器人执行准备烤奶酪三明治时，长期记忆可写成面包和黄油已放到台面，奶酪尚未取出；短期视频则保留夹爪刚才从筷子上方滑过或冰箱门向左拉失败的具体过程。前者回答下一步做什么，后者帮助低层改变下一次操作策略。

5、训练流与推理流

5.1、训练阶段

图 5 展示了食谱准备、厨房清理和烤奶酪等长任务中的连续步骤。MEM 并不是只在小规模长任务数据上学习记忆，而是把记忆机制带入更大的预训练混合数据。

训练流可以归纳为四步：

1. 预训练混合：使用遥操作示范、策略 rollout、人类纠正，以及图文和视频语言任务；视频预训练输入 6 个观测，即当前帧加 5 个历史帧，时间间隔约 1 秒。
2. 低层动作学习：π0.6 同时使用离散 FAST 动作 token 与连续 Flow Matching 动作专家。图中动作专家规模为 860M；VLM 侧由 SigLIP 400M 视觉编码器和 Gemma 3 4B 语言模型初始化。
3. 知识隔离：动作专家的梯度不回传到 VLM 主干，避免连续动作学习破坏视觉语言知识。
4. 后训练扩窗：把视频记忆扩展到 18 帧和约 54 秒，并在目标长任务与纠正数据上适配。

需要注意，18 帧并不代表 18 个连续控制时刻，而是覆盖约 54 秒的稀疏历史；论文未给出所有任务统一的采样频率和动作块长度，因此不能据此反推机器人控制频率。

5.2、推理阶段

一次高低层循环可理解为：

输入任务目标 g、当前图像 o_t、上一轮语言记忆 m_t
→ 高层生成下一子任务 l_{t+1} 和新记忆 m_{t+1}
→ 视频编码器压缩最近 K 帧图像与历史本体状态
→ 低层 VLA 以 l_{t+1} 为条件生成动作块 a_{t:t+H}
→ 通过 RTC 异步执行动作块并继续接收新观测
→ 到达高层更新点后重复上述过程

当前图像以每路 $448\times 448$ 分辨率输入，最多四路相机；历史本体状态经线性层投影成 $K$ 个连续 state token，而不是转成文本。真机执行可使用推理期 RTC 或训练期 RTC 来缓解动作块切换造成的停顿。测试时仍需历史视频和本体状态，但不需要未来帧、深度图或训练期 LLM 标签。

6、动作生成：FAST 与 Flow Matching 各司其职

论文中的低层输出并不是普通连续回归。π0.6 既训练离散 FAST 动作 token，也包含连续 Flow Matching 动作专家。后者从噪声动作出发，沿学习到的速度场积分得到动作块，可抽象为：

$$\frac{d{a}^{\tau }}{d\tau }=v_{\theta }(a^{\tau },c,\tau ),\tau \in [0,1]$$

$a^{\tau }$ 是采样轨迹在去噪时间 $\tau$ 的动作状态，$v_{\theta }$ 是动作专家预测的速度场，$c$ 汇集当前视觉、短期记忆、子任务和本体状态。这里的 $\tau$ 是生成模型内部时间，不能与机器人真实时间 $t$ 混为一谈。论文没有公开 π0.6‑MEM 的积分步数、动作维度和 $H$ 的具体 release 配置。

7、实验结果：记忆到底解决了什么

7.1、长任务与记忆消融

长任务评测包括食谱准备和厨房清理。每个策略在每个任务或食谱上运行 10 次，报告均值与标准误。食谱准备按取出并放置的物品计分，每个 episode 共 6～7 分；厨房清理约 8 个子任务，每完成一个加 1 分。论文在 42 种食谱上训练，并在新厨房和新物体布置中评测 5 种食谱。

图 6 的结论很明确：只保留视频或只保留文本都不够。文本记忆擅长跨分钟记录进度，视频记忆擅长理解刚刚发生的动作；把历史语言直接拼接的朴素组合又受到训练—推理分布偏移影响。只有压缩语言记忆与视频记忆结合，平均任务进度才明显领先。

7.2、从失败中在上下文适应

作者专门收集了策略失败后的人类纠正数据：筷子任务改变了桌面高度，冰箱任务隐藏了门轴方向。训练时把纠正前的失败尝试保留在短期记忆中，模型就能在下一次尝试中调整抓取高度或开门方向。相对同数据训练的无记忆 π0.6，MEM 的成功率分别提高 11 和 62 个百分点；冰箱成功标准为不超过 4 次抓取。这说明短期记忆不仅用于看清遮挡，还能承载刚才这种策略不行的隐式反馈。

7.3、六类核心记忆能力

图 8 覆盖换 3 个杯子、找物体、拆杂货、舀咖啡、烤奶酪和擦窗。它们分别考验部分可观测性、计数、视觉记忆和空间记忆。基线包括无记忆、平均池化图像记忆和仅本体状态记忆。无记忆策略在从四个抽屉找物体上随机概率仅 25%，在是否再加一勺咖啡上为 50%；不同单一记忆基线各有擅长项，但只有 MEM 在六类任务上都保持较强表现。

7.4、为什么记忆必须在预训练阶段出现

完整模型在预训练阶段只看约 5 秒历史，却能在后训练把窗口扩到 1 分钟左右。图 9 表明，只在后训练临时加入视频编码器的模型明显更弱。这说明记忆不是一个可以在小数据上随手接入的插件；多样化机器人和非机器人视频预训练，让编码器先学会从跨帧信息中提取稳定线索。

7.5、加入记忆会不会伤害普通操作能力

作者还在收餐具、叠衬衫、清理台面、铺床、搬盘子、批量折叠和组装纸箱上比较 MEM 与无记忆 π0.6。两者整体接近，MEM 在使用记忆的同时没有明显牺牲普通灵巧操作能力。这个结论只适用于论文内部的真机任务、数据和统计协议，不能直接外推为跨硬件或公开 benchmark 的普遍优势。

8、方法价值、局限与工程判断

MEM 最有价值的地方，不是简单把上下文窗口做长，而是把机器人历史按信息带宽分层：高频、几何化的近期历史留给视频编码器；低频、语义化的长期状态交给语言摘要。这一设计同时兼顾实时性、任务跨度和失败恢复，适合厨房整理、配方执行、仓储拣选等需要多步进度与局部纠错的任务。

但离可复现、可长期部署仍有明显距离：

1. 记忆只覆盖单个 episode。
2. 语言记忆由模型自回归更新，可能累积事实错误，论文没有系统研究纠错或外部验证机制。
3. 短期视频最多约 54 秒，长期文本又会丢掉精细空间关系，两种表示之间仍有信息空档。
4. 每个任务通常只有 10 次 rollout，且数据、机器人平台和大部分评测协议未公开，误差条之外的泛化证据有限。
5. H100 上的编码延迟不能代表消费级 GPU、边缘计算设备或整机闭环延迟。
6. 代码、权重、数据、记忆标签生成流程和 checkpoint 配置均未发布，当前无法独立复现实验。

从工程角度看，MEM 给出的最可迁移原则是：不要用同一种表示保存所有历史。若要在现有 VLA 上实现类似系统，可以先把长期任务状态做成可审计的结构化记忆，再给低层视觉编码器增加有限窗口和缓存；同时对记忆写入设置成功条件、置信度和回滚机制。这样做比无限扩展多模态上下文更容易控制延迟，也更便于排查错误。