26年7月来自诺因智能（Knowin AI）、港科大（广州）、港中大、同济、清华、哈工大（深圳）、西湖大学和天大的论文“In-Context Learning for Robots：Methods and Applications”。

这篇论文最重要的观点是：机器人已经具备执行动作的能力，并不意味着它知道当前任务应该怎样做。机器人 ICL 的核心，是让新示范、纠正和交互经验在不更新神经网络参数的情况下，改变机器人的决策，并让这些要求在物理执行中得到保留。

---

1．论文研究什么：从“会做动作”到“能根据学习改变行为”

论文用一个很直观的矛盾展开讨论：机器人可能已经会抓取和放置所有零件，但当前场景未必告诉它：

• 应该先放哪个零件；
• 要放几个；
• 是否必须抓住把手；
• 哪些步骤已经完成；
• 当前材料、摩擦或阻力是否发生变化。

这些信息需要来自示范、语言、历史记录或实际交互。论文将其统一视为上下文。

其基本形式是：

A_t ～ pi_theta(.｜h_t, C_t), theta 在部署适应阶段保持固定

其中，h_t是当前执行历史，C_t 是任务相关上下文，A_t 是接下来的一段动作。

这里有三个重要边界：

容易混淆的概念	论文的区分
ICL 与微调	ICL 改变输入证据、记忆或外部产物；微调改变神经网络参数
One-shot 与 ICL	One-shot 只说明示范数量；一个示范也可能用于梯度更新
参数固定与系统不变	参数固定时，系统仍可更新记忆、生成代码、修改控制参数或增加可调用程序

因此，这篇综述采用的是一个较宽的机器人 ICL 定义：既涵盖示范条件化策略，也涵盖历史适应、几何迁移和固定模型驱动的程序修订。（第 2 节，pp. 5–11）

论文还提出六种学习视野：如图 1，3 所示

层次	含义
S1 显式控制编程	人为规定任务逻辑和控制规律
S2 神经策略学习	从数据中获得可复用的动作能力
S3 基于历史的适应	从交互结果推断环境或身体的响应
S4 上下文任务学习	从示范、指令与纠正中理解任务要求
S5 物理递归自改进	经验改善后续新任务的学习过程
S6 集体知识演化	不同机器人交换并验证知识，改善群体后续学习

S3 和 S4 是互补的信息来源；S5、S6 主要是研究目标，不能当作已经实现的成熟能力阶梯。

如图 4 所示微调和ICL：

如图 5 所示机器人ICL工作流：预训练赋予能力；部署阶段则通过四大类方法获取证据、构建上下午并生成行动。结果评估为执行过程提供实时反馈，而沉淀下来的经验则为后续的上下文构建提供参考。

如图 6 所示适应发生的五个位置与时间尺度。在 (a–c) 中，提供的上下文、循环状态或检索的片段作为条件，作用于具有固定神经参数的策略；在 (d) 中，基础参数保持不变，而“快速权重”发生变化；(e) 则保留更新后的权重以供后续任务使用。蓝色边框和雪花图标标识固定参数；红色边框标识更新后的参数，火焰图标指示更新阶段。

如图 7 所示四种上下文-到-控制的机制：

2．核心分类：上下文通过四种接口改变动作

这是论文最主要的组织贡献。它按照部署时，什么中间结果直接参与动作生成或执行进行分类，而不是按照 Transformer、扩散模型或大模型名称分类。（第 3 节，pp. 15–38；图 12所示四种上下文-到-动作的路线）

方法家族	基本路径	代表工作	主要迁移条件
上下文条件化策略	示范与历史 → 表征 → 动作	ICRT、Vid2Robot、Instant Policy、RICL	模型能从上下文中保留任务要求并生成适当动作
几何示范迁移	示范 → 几何对应 → 重定向轨迹或接触 → 执行	DOME、DINOBot、DITTO、MT3、SemAnCorr	对齐后的局部交互仍然适用
基于世界模型的控制	上下文 → 预测未来 → 解码、规划或选择动作	DOMINO、Demo-JEPA、HOST、Zero-WAM	预测结果符合任务，而且能够物理实现
技能与智能体执行	上下文 → 技能、程序或工具调用 → 执行器	Code as Policies、ProgPrompt、XSkill、UniSkill、Show-Harness	执行器具备所需能力，接口能表达教学约束

如图 8 所示四种方法的演变：上下文为条件策略，几何演示迁移，基于世界模型控制和基于-技能和智能体的执行，其中NTP = 神经任务编程

如图 10 所示构建与解读任务上下文。(a) 检索过程选取相关经验，时间对齐确定当前阶段，而观察到的动作效应则指导身体反应。(b) 语言明确具体操作，视觉提示则清晰指明该操作的空间目标。：

如图 11 所示视觉预测的两种模式：训练（左）与部署（右）。火焰图标标记可训练模块，雪花图标标记固定模块。(a) SynthICL 训练上下文层及两个预测头，随后移除子目标预测头；图中省略其冻结的 DINOv3 主干网络 [77]。(b) Zero-WAM 训练视频分支与动作分支，随后冻结两者，并将记录的未来视频替换为生成的视频 [24]。

四类方法的差异，可以用“看人倒水，然后换容器执行”理解。

① 上下文条件化策略：学习从示范推断动作。

模型读取示范与当前机器人状态，直接生成抓取、移动、倾倒动作。部分方法先检索相似动作再复用，另一些通过学习到的生成器对示范进行转换。

优势是可以把任务理解与动作生成紧密结合；局限是模型可能利用场景捷径，忽略示范中的真正要求，或者不能把训练中学到的解释方式迁移到新任务。

② 几何示范迁移：把示范交互变成可跟踪的参考。

系统识别源容器与目标容器的接触部位、局部坐标系或运动关系，再调整抓取点和轨迹。

优势是接触与相对运动约束较明确，容易检查；局限是几何对应不保证动力学适用。例如形状相似的容器，可能具有不同重量、柔顺性和流动特性。

③ 世界模型控制：先表达或评估未来，再决定如何实现。

论文区分两种用法：

• 根据示范生成期望的未来，再将未来转成动作；
• 对候选动作预测后果，再选择符合要求的动作。

优势是可以在执行前检查结果或进行搜索；局限是“预测看起来正确”不等于“存在可靠动作可以实现”，预测误差和动作解码误差也会叠加。

一个重要分类细节是：仅在训练中使用未来预测辅助损失，并不自动属于世界模型控制；预测必须在部署时实际影响控制。

④ 技能与智能体执行：理解程序，再调用已有能力。

系统把示范转成“抓住容器—移至接收容器上方—倾倒—停止”等技能或工具调用。

优势是程序顺序、前置条件和修正位置更明确，便于长任务组合；局限是抽象可能丢失物理细节。例如“拿起杯子”没有表达“必须抓住把手”，执行器就可能完成搬运却违背教学。

这四类可以组合。程序可以调用几何跟踪器，世界模型可以生成技能目标。因此，分类描述的是控制接口，而非互斥的完整系统。

3．贯穿四类方法的关键：对应关系、记忆和约束保留

论文反复强调，真正困难的是把示范中的要求，传递到当前场景、当前时刻和当前机器人。（第 3.5–3.6 节）

对应关系解决“示范里的东西，对应现在的什么”。

它至少包括：

• 几何对应：原来的把手、接触点、局部坐标系对应哪里；
• 语义对应：谁是工具、谁是被操作对象、谁是接收容器；
• 时间对应：机器人目前处于示范的哪个阶段；
• 动作对应：人的运动怎样转成机器人可执行命令。

论文用倒水区分三种迁移：只替换被持容器、只替换接收容器、同时替换两者。第三种更复杂，因为抓取、倾角、出口位置和接收位置需要共同调整。

记忆解决“什么证据应当保留，以及何时失效”。

论文的一个实用区分是：

记忆内容	示例	需要重新核验的时机
任务要求	盘子必须先放	新指令或纠正出现后
对应关系	当前目标位置、示范阶段	物体移动或执行阶段变化后
物理响应	某连接器需要多大调整	工具、材料或接触条件变化后
执行状态	某一步是否完成	新动作、观测或场景重置后

因此，不能简单地认为上下文越长、记忆越多越好。旧位置可能失效，而旧的顺序要求仍然有效；过期经验甚至会压过新的正确证据。

此外，记住纠正只是第一步：控制接口必须允许机器人在已经到达的状态下执行这项纠正。

4．数据与训练：大量机器人数据不等于学会使用上下文

这是论文最有启发性的部分之一。（第 4 节，pp. 38–51）

如果训练数据中，每个场景都只有一种动作，那么模型仅靠当前图像就能预测动作，没有必要阅读示范。即使架构支持上下文，也可能没有学会利用它。

真正有用的训练关系包括：

• 同一场景，不同要求：同样的红蓝零件，示范分别要求红先蓝后、蓝先红后；
• 同一要求，不同场景：保持顺序要求，同时改变位置、外观和对象；
• 失败—纠正—结果相联系：让模型知道为什么后续动作需要改变。

论文归纳了三种训练组织：

组织方式	训练关系	主要作用
支持—查询配对	示例与另一段执行共享任务要求	学习“示范如何指定执行”
连续经验流	前面的观测与动作解释后续行为	学习利用时间历史
跨尝试关联记录	尝试、反馈和后续修正相联系	学习利用失败和交互结果

数据来源则各有代价：

• 机器人遥操作：动作监督直接，但采集需要机器人与人工操作。
• UMI 等手持采集接口：减少对机械臂的依赖，仍需运动估计和机器人映射。
• 人类第一视角视频：行为覆盖广，但通常缺乏直接的机器人动作标签。
• 仿真与合成：方便控制任务和场景变化，但需要验证物理一致性与任务要求是否保留。

论文特别区分动作覆盖与教学关系覆盖。前者决定机器人会多少动作，后者决定它能从示范中理解多少种要求。

例如，论文转述 BPP 的实验：固定 10,000 条绘图示范，将训练任务从 500 个增加到 2,000 个，平均 Chamfer 误差从 9.5 降到 3.4 像素。这支持任务多样性的价值，但不能据此推断所有机器人任务都只需要增加任务种类。（p. 43）

5．执行与恢复：失败之后需要修正什么

论文把恢复过程拆成：确认当前状态 → 判断偏离 → 获取诊断证据 → 执行修复 → 保留有条件的经验。（第 5 节，pp. 51–54）

不同失败需要不同的信息：

失败	关键问题	合适的处理
看不清接触区域	几何信息缺失	改变视角、重新观察
物体滑落	原来的抓取前提不再成立	检查接触，重新抓取
操作了错误对象	任务理解或对应关系错误	重读指令与示范
插入受阻	不清楚是错位、阻力还是障碍	获取接触反馈或进行受限探测
执行器无法完成修复动作	缺少运动能力	增加技能或进一步训练

这里最重要的是：**目标不明确、物理状态不明确、动作能力不足，是三类不同问题。**增加示范、增加观测和训练新技能不能相互替代。

恢复还必须有“修改范围”：改目的地时不应丢掉原来的数量要求；修复抓取时不应把尚未完成的步骤错误标记为完成。

6．应用：上下文究竟补充哪种信息

第 6 节涵盖操作、导航、长流程、身体与动力学适应，以及生产换型。

• 操作任务：补充对象关系、抓取方式、顺序、数量或过程约束。
• 导航任务：补充示范路线、环境知识、指令解释示例和失败反馈。到达同一终点不代表遵守了指定路线。
• 长流程任务：补充步骤依赖、完成状态和恢复位置。对加液等不可逆操作，重复执行可能破坏中间结果。
• 身体与动力学适应：任务不变，但负载、地面、夹具或材料变化，需要从动作效果推断响应。
• 生产换型与复用：新批次可能只需新程序，也可能需要重新验证工具和材料条件。

论文将应用价值落到一个务实的问题：**从收到新任务到达到可重复的合格表现，总共需要多少人工、时间、试验和重置？**一次成功并不足以说明换型成本低。

7．评测：怎样证明机器人真的从上下文中学到了东西

这是全文最值得借鉴的部分。（第 7 节，pp. 61–70）

论文要求把三个结果分开：

1. 上下文是否适当地改变了行为；
2. 改变后的行为是否完成物理任务并遵守要求；
3. 保留经验是否改善后续尝试或新任务学习。

对应的关键实验是：

要验证的能力	应做的对照
是否读取教学信息	相同场景，替换为要求另一种可行行为的示范
是否依赖表面线索	保持要求，改变示范者、视角和外观
是否能迁移关系	保持动作能力，留出新的关系或组合
是否利用记忆	相同当前状态，保留或清空历史
是否真正受益于经验	同等重试预算下，比较保留和清空经验
是否来自参数更新	保持输入，恢复适应前参数
是否只是执行器更强	固定底层技能、工具与控制接口
哪个阶段出错	替换为正确对应、正确未来或正确程序，再检查执行

其中尤其重要的是分别重置物理环境和记忆。如果机器人第二次成功，只是因为第一次已经把物体推近了目标，不能算记忆学习；如果只是多试几次提高了累计成功率，也不能证明经验有效。

论文给出的记忆收益形式是：

Delta_n^{reuse}^ = S_n^{keep}^ - S_n^{reset}^

比较必须保持任务、起始物理状态、执行器与尝试预算一致。

还要区分三个能力层级：

• 从示范中选择已知任务；
• 组合已知关系；
• 从示例推断训练中未出现的规则。

“换一个示范，动作变了”只是证明上下文影响行为；它尚不足以证明学会了新规则。

8．这篇综述最值得记住的要点

可以归纳为六条：

1. 机器人 ICL 的关键是证据如何进入控制。四类接口提供了比按网络名称分类更清楚的比较方式。
2. 任务要求必须沿整条执行链保留下来。选择、压缩、预测或技能抽象都可能丢失要求。
3. 运动能力与可教性是两个维度。一个强策略可能很会完成默认任务，却不听新的教学。
4. 训练数据要提供必须依赖上下文的决策。只有轨迹数量和视觉多样性不够。
5. 目标成功与教学遵循必须分别测量。顺序、路径和接触约束不能只看最终状态。
6. 自改进应体现为后续学习更有效。扩大技能库、提高当前任务成功率，还不等于改善学习新任务的能力。

9．论文指出的领域问题：哪些能力尚未解决

第 8 节提出的方向，主要对应以下五个缺口。

第一，陌生规则学习的证据仍不足。
很多成功案例可以解释为识别熟悉任务、检索相近轨迹或组合现有技能。需要留出规则家族，并控制训练暴露，才能检验更强的规则推断能力。

第二，很难判断示范的哪些细节必须保留。
示范中的停顿可能是偶然犹豫，也可能是在等待胶水固化；把手抓取可能是偏好，也可能是任务硬约束。单次示范往往不能唯一确定意图。

第三，物理迁移仍受可执行性限制。
语义相似、几何相似、功能相似并不等价。能够识别替代物，不代表当前机器人能实现所需接触、力或运动。

第四，长期记忆必须同时支持保留与修正。
压缩可能删除后来才变得重要的细节；旧纠正可能与新要求冲突。系统需要保存来源、适用条件和可重新解释的证据。

第五，递归自改进与集体知识演化需要更强验证。
应测量后继系统在新任务上的教学量、试错次数、干预需求和总成本，并验证收益能否跨多个改进轮次持续。机器人之间交换经验，也需要检验双方实际受益，而不仅是共享表示。

10．综述本身的问题

① ICL 的边界过宽，统一性与概念辨识度存在张力。

论文把固定参数下的示范条件化、历史状态估计、几何重放、检索和程序修订放进同一框架。这样能覆盖完整系统，但它们实际获得的信息和执行的计算差异很大。

作者已经区分任务选择、组合与规则推断，但这一分层主要在后部展开。如果从开始就为每个方法标明“究竟学到了什么”，会比仅强调参数固定更清楚。

这不是说其定义错误，而是说：广义上下文适应不应轻易被读者理解为强意义上的新规则学习。

② 分类便于理解，但不足以直接指导选型。

四类接口清楚地说明了迁移负担落在哪里，却没有给出统一条件下的成本—性能比较。例如读者仍难回答：

• 示范极少时，几何迁移和条件化策略如何取舍？
• 接触精度与响应时延要求提高后，哪类更合适？
• 世界模型的额外推理成本何时能被收益抵消？

论文提供了大量机制分析，但距离可操作的方法选择指南还有一步。

③ 文献汇总丰富，系统性检索的可复现性不够明确。

论文统计了 412 项参考文献，并指向 Supplement S1 中的条目记录和统计规则；但在所提供 PDF 中，我未看到完整的数据库、检索式、纳入排除标准及筛选过程。

因此，它更适合作为广覆盖的叙述性综述和研究框架。文献数量及类别比例不能直接视为领域全貌或路线优劣的统计证据。这里的判断限于提供的 PDF，未核验外部补充材料。

④ 定量证据主要来自异质研究，不能支持统一排名。

表 16 汇总了 14 组研究内部比较，作者也明确说明这些是 within-study comparisons。各研究的机器人、执行器、任务难度、辅助信息和预算不同，因此无法直接横向比较。

例如，部件迁移结果带有辅助部件对应条件；一些模型比较采用包含人工恢复的逐步指标。这些结果有分析价值，却不能概括成“某一路线普遍优于另一条”。

论文对此相当谨慎，但也意味着其结论主要是机制层面的综合，而非严格的统一实证比较。

⑤ 不同证据成熟度虽然被注明，仍缺少统一分级。

正文同时讨论真机实验、仿真、技术报告、定性案例和概念性未来实验。作者在多处标注了差别，例如说明部分图是概念示意，某些系统只有试点部分得到评估。

但若增加统一证据表，逐项标记是否真机、是否自主闭环、是否有上下文干预、是否有独立迁移测试，会更容易判断结论有多强。

⑥ S5、S6 的愿景比现有证据更成熟。

论文正确地把“以后学得更好”作为自改进标准，也承认现有结果的局限。不过将 S1–S6 并列展示，仍容易让读者误以为它们构成已经验证的演进序列。

更有说服力的呈现方式，是明确区分：已经充分展示的能力、局部证据支持的能力，以及尚待验证的研究目标。

⑦ 理论解释和工程可靠性仍有深化空间。

论文引用了贝叶斯推断、元学习和类梯度下降等 ICL 解释，也讨论了安全探测、不可逆操作与时延，但没有形成统一的机器人 ICL 理论或可靠性框架。

例如，仍缺少对以下问题的系统回答：需要多少示范才能识别某类任务？如何量化教学歧义？错误记忆如何影响闭环稳定性？何时应拒绝迁移并请求新证据？

---

这篇综述最强的贡献，是把“教学信息—控制接口—物理执行—经验复用”连接起来，并提出严谨的评测问题。它适合用来建立研究图和设计实验；对于哪条技术路线更优、机器人是否已经具备通用新规则学习能力，现有汇总仍不足以下确定结论。