什么是具身模型？

具身模型是具身智能的核心技术载体，泛指一切能接收多模态感知（视觉、触觉、语言等），经过内部计算后输出物理动作或决策，从而在真实或仿真的物理环境中完成任务的模型。它们必须满足三大特征：

• 主动感知：不是被动识别图片，而是根据任务主动观察环境。

• 物理交互：输出的是力、关节角度、末端轨迹等能改变世界状态的动作。

• 闭环决策：根据行动结果不断调整后续行为，形成“感知-行动”循环。

在这一框架下，VLA 是其中一个耀眼的分支，但远非全部。

---

具身模型的三大范式

根据“如何获得行为”这一根本问题，具身模型可以分为三大范式，它们并非互斥，现代模型常融合使用。

1. 模仿学习与行为克隆

直接学习人类或专家演示中“观察 → 动作”的映射。

• 经典方法：行为克隆 + DAgger（数据集聚合），但易受分布漂移影响。

• 现代扩散策略：如 Diffusion Policy，将扩散模型用于生成动作序列，可表达多模态动作分布，对复杂精细操作极为有效。

• 优势：训练直观，能捕捉人类技巧；局限：需要专家数据，泛化靠数据覆盖。

2. 强化学习策略

让机器人在环境中试错，通过奖励函数最大化长期回报。

• 典型方法：PPO、SAC、Dreamer（世界模型内训练）、TD-MPC2（用隐式世界模型做模型预测控制）。

• 优势：可以自主发现超越人类的新策略，能处理极长程任务。

• 局限：奖励设计困难，样本效率低，sim-to-real 迁移是巨大挑战。

3. 基于模型的规划与世界模型

模型内部学会一个“世界模拟器”，预测“如果我这样做，环境会怎样变化”，然后通过搜索或优化选择最佳动作。

• 端到端世界模型：如 DreamerV3，在学到的潜空间中预测未来状态和奖励，直接训练演员-评论家。

• 显式规划：用视频生成模型预测未来图像，再基于预测图像输出动作，如 UniPi、SuSIE。

• 优势：泛化性强，可重用模型做多种任务；局限：世界模型本身很难学准，累积误差是个问题。

---

具身模型的架构光谱

从“端到端”到“高度模块化”，架构选择决定了能力边界：

架构类型	核心思想	代表工作
端到端策略	像素直接映射到动作，单一神经网络	Diffusion Policy, 早期 RT-1, GATO
VLA 大模型	预训练视觉-语言模型 + 动作头	RT-2, Octo, OpenVLA, π0
分层模型	高层规划（语言、状态） + 低层技能执行	SayCan, Code as Policies, LLM+P
生成式规划	先生成未来视频/目标图，再提取动作	UniPi, SuSIE, RT-Trajectory
世界模型驱动	学习环境动态模型，用于规划或策略优化	DreamerV3, TD-MPC2, DayDreamer

这些架构并非孰优孰劣，而是各有应用场景：高精度灵巧操作更适合扩散策略，语义理解丰富的长程任务适合 VLA，泛化到多变环境适合世界模型。

---

关键挑战与解决思路

除了 VLA 中讨论的实时性和数据问题，具身模型还面临一些更本质的挑战：

挑战	具体表现	解决方向
Sim-to-Real 鸿沟	仿真训练的策略在真实环境中失效	域随机化、系统辨识、在线自适应
长程任务的信用分配	成功拿杯先要开柜门，信号极其稀疏	事后经验回放、分层强化学习、自动子目标
安全与约束	强化学习探索时可能损坏硬件	约束马尔可夫决策过程、安全层、李雅普诺夫函数
多模态感知融合	如何融合视觉、触觉、力觉、声音	跨模态 Transformer、隐式对齐、互信息
持续学习	学新任务时忘掉旧技能	弹性权重巩固、知识蒸馏、模型库扩展

---

里程碑工作纵览（非 VLA 重点）

除了 RT-2、Octo 等 VLA 模型，具身模型家族还有许多奠基性工作：

• GATO (DeepMind, 2022)：一个 Transformer 处理包括游戏、对话、机器人控制在内 600 多种任务，开“通用策略”先河。

• Diffusion Policy (哥伦比亚等, 2023)：用扩散模型生成动作，展现出令人惊叹的操作稳定性，已成为精细操作标配。

• DreamerV3 (DeepMind, 2023)：世界模型之王，无需调整超参数就能攻克从 Minecraft 到机器人控制的数十种领域。

• TD-MPC2 (伯克利, 2024)：隐式世界模型 + 模型预测控制，在有限样本下实现强壮的运动和操作。

• UniPi (MIT, 2023)：用文本到视频模型生成未来，再用第一帧到动作的小策略执行，巧妙利用了视频生成模型的先验知识。

• SayCan (谷歌, 2022)：将大语言模型与机器人技能库结合，语言模型负责“说能做什么”，强化学习技能负责“实际执行”，是分层模型的典范。

---

具身模型的未来：走向通用物理智能

1. 统一基础模型：用一个模型吸收互联网图文、视频、机器人数据、仿真经验，像 GPT 做文本那样做“动作”。Open X-Embodiment、DROID 等数据集正为此铺路。

2. 世界模型与 VLA 的融合：VLA 提供语义理解，世界模型提供物理直觉，两者结合可进行“内心推演”，在行动前预判结果。

3. 全身灵巧操作：从简单的夹爪到五指灵巧手，模型需输出二十多个自由度，触觉反馈闭环变得不可或缺。

4. 人机共融与安全性：机器人必须理解人类意图和社交规范，在碰撞前预判并柔和响应，具身模型将内化安全约束。

5. 从模型到“机器人大脑”产品：轻量化、低功耗的具身模型芯片，让扫地机器人、人形机器人真正走进千家万户。

多模态感知进入模型，经过不同范式（模仿、强化、世界模型、VLA）的处理，输出物理动作，并指向统一的未来愿景。