从今天觉醒,技术赋予每一个人数字生命

让机器人“看一眼就会”：GPT-Policy 的上下文学习架构拆解

① 技术背景：机器人为什么需要“临场学习”

一个核心问题：演示数据是有限的，但机器人要面对的环境是无限的。

传统机器人策略（policy）依赖大规模示教数据训练，任务一变就得重新采数据、重训模型。这种“离线固化”范式在工厂流水线上够用，但一旦进入家庭、仓库、灾后现场，环境的长尾分布会让任何有限数据集失效。人类工人不需要重训大脑——看一遍师傅操作、听一句口头指令、试错一次，就能在新任务上调整行为。这种能力叫上下文学习（In-Context Learning, ICL）。

ICL 在大语言模型上已经成熟：给几段示例，模型就能推断任务模式。但把 ICL 搬到机器人身上，难点在于——语言模型的输出是 token，机器人的输出是物理动作，动作必须可执行、可验证、且不能破坏环境。于是问题变成：能不能让一个具备通用推理能力的视觉语言模型（VLM），在部署现场读取演示视频、动作参考和交互反馈，直接生成可执行的机器人行为，而不做任何梯度更新？

这正是 GPT-Policy 试图回答的问题。它把 VLM 当作“通用智能体”，用上下文编译器喂给它任务相关的视觉状态转移，用约束控制器兜住物理执行的底线。这个思路值得盘点，因为它代表了具身智能从“训练驱动”转向“推理驱动”的一条关键路径。

② 主流方案盘点：四条技术路线

路线一：端到端模仿学习（Behavior Cloning 系）
代表项目如 ACT、Diffusion Policy。职责是把观测直接映射为动作序列，训练稳定、推理快。但它对任务分布敏感，换一个初始状态或物体位置就可能失效，本质上是“记忆”而非“理解”。

路线二：VLM 直接输出动作（VLA 系）
代表项目如 RT-2、OpenVLA。把动作离散化为 token，让 VLM 像生成文本一样生成动作。优点是复用 VLM 的语义泛化，缺点是动作精度受 token 化粒度限制，且通常仍需在机器人数据上微调。

路线三：VLM 做高层规划 + 底层控制器（分层系）
代表项目如 SayCan、Code as Policies。VLM 负责把自然语言拆成技能序列，底层用预定义的运动原语执行。职责清晰，但高层和底层之间的“语义鸿沟”需要人工设计接口，遇到接触密集型任务容易掉链子。

路线四：上下文学习智能体（GPT-Policy 所属）
核心抽象是**“上下文编译器 + VLM 提议 + 约束控制器验证”**三段式。上下文编译器从演示视频中保留任务相关的视觉转移（比如物体从 A 移到 B 的关键帧），VLM 基于这些上下文提议机器人工具动作，约束控制器验证动作是否安全可执行并回报结果。整个链路无梯度更新，任务特定参数不持久化。

③ 对比与优劣

关键判断：GPT-Policy 的优势不在单任务精度，而在任务切换成本。它把“学新任务”从训练问题转化为上下文构造问题。但代价是推理延迟和上下文窗口压力——演示视频越长，编译器要保留的视觉转移越多，VLM 的推理负担越重。

④ 选型建议

场景 A：在校学生做课程项目 / 作品集
建议从“分层规划 + 预定义运动原语”入手，用当前主流 VLM（如 GPT-5.5、Qwen3.6 Max 等）做高层拆解，底层接一个简单的 PID 或 MoveIt 控制器。这条路线工程量可控，能完整展示“感知-推理-执行”闭环，面试时也容易讲清楚每一层的职责。

场景 B：实验室做接触密集型操作研究
优先考虑 GPT-Policy 式 ICL，但必须补上“对齐动作参考”这一环。论文实验表明，仅有人类视频演示（无机器人动作标签）就能提升任务完成率，但在接触敏感任务上，对齐的动作参考能带来额外增益。也就是说，上下文里光有“看”不够，还得有“怎么做”的精确锚点。

场景 C：工业落地追求稳定吞吐
现阶段不建议纯 ICL。端到端模仿学习或 VLA 微调在固定任务上的可靠性和延迟更可控。ICL 适合作为“异常恢复”模块：当主策略失败时，用 VLM 读上下文重新提议动作，约束控制器验证后执行。

面试常被追问的点：上下文编译器如何决定保留哪些视觉转移？如果演示视频里有无关动作，VLM 会不会被带偏？这考察的是你对“任务相关性过滤”的理解——GPT-Policy 的做法是保留视觉状态发生显著变化的关键帧，但阈值设计本身就是一个开放问题。

⑤ 未来展望

已经出现的趋势：VLM 的 agentic 能力在快速增强，上下文窗口从 128K 向百万级扩展，这意味着“把一整段演示视频塞进上下文”正在变得可行。同时，约束控制器与形式化验证的结合（如控制屏障函数）能让 ICL 的安全性有数学保证。

仍未解决的问题：第一，上下文效率——如何用最少的视觉转移表达任务本质，而不是把原始视频全丢进去；第二，验证延迟——约束控制器验证每个动作需要时间，高频控制回路下可能成为瓶颈；第三，跨任务上下文复用——不同任务的上下文能否共享底层表示，而不是每次从零构造。

GPT-Policy 的意义不在于它解决了所有问题，而在于它把“机器人适应新环境”从训练范式拉到了推理范式，并给出了可复现的实验基础。对于学习者来说，顺着“上下文编译器 → VLM 提议 → 约束控制器验证”这条调用链读下去，就能理解具身智能当前最前沿的工程取舍。