摘要

在具身智能系统中，LLM/MLLM 与世界模型承担不同但互补的功能：

• LLM/MLLM 更擅长理解“要做什么、为什么做、如何分解任务”；
• 世界模型 更擅长预测“执行某个动作之后会发生什么”；
• 规划器与策略模型 负责在候选方案中做选择；
• 控制器 负责把高层意图转化为连续、实时、精确的动作；
• 安全层 负责限制危险行为、检测异常并触发停止或回退。

较可靠的具身智能系统通常不是依赖单一大模型，而是将语言与多模态理解、状态估计、世界模型、任务规划、运动控制和安全机制组合成闭环。

---

一、LLM/MLLM 在具身智能中扮演什么角色？

1. 基本定位

可以将具身智能系统粗略理解为：

模块	主要定位
LLM/MLLM	语义认知、高层推理与任务规划
世界模型	环境状态表示、动力学预测与内部模拟
策略/规划器	候选动作选择与轨迹优化
实时控制器	将计划转化为关节、速度、力和位姿命令
安全系统	约束、验证、异常检测、急停和人工接管

LLM 主要处理语言和抽象知识；MLLM 在此基础上还可以接收图像、视频、声音、触觉或机器人状态。视觉—语言—动作模型（Vision-Language-Action，VLA）则进一步尝试直接生成机器人动作。

---

2. LLM/MLLM 的主要作用

角色	具体作用	典型输出
自然语言交互接口	理解用户指令、上下文、省略表达和模糊意图，将人的目标转成机器可以处理的任务描述	目标、约束、完成条件
开放世界语义知识库	利用预训练知识理解物体用途、常识关系、任务步骤和社会规范	“海绵可用于擦拭液体”“易碎品应轻放”
多模态场景理解	将视觉、语言和其他传感信息对齐，完成场景描述、开放词汇识别、对象关系判断和目标定位	对象类别、属性、关系、场景摘要
任务分解与高层规划	把抽象、长时目标拆成可执行子任务，处理步骤间依赖	找到杯子→接近→抓取→移动→放下→验证
技能与工具选择	从已有技能库中选择导航、抓取、开门、搜索、工具调用等能力	navigate(kitchen)、grasp(cup)
动作策略生成	在 VLA 架构中，将视觉和语言映射为动作标记、关键点、轨迹或连续控制参数	末端位姿、关节动作、动作块
反馈解释与重规划	根据成功检测、场景变化和人工反馈解释失败原因并修改计划	“抓取失败，调整接近角度后重试”
协作与可解释交流	汇报进度、解释计划、询问缺失信息，与人或其他智能体协调	“目标被遮挡，需要先移动障碍物”

---

3. LLM、MLLM 与 VLA 的差别

LLM：语言规划器

文字指令
   ↓
语义理解与推理
   ↓
子任务、技能序列或程序

LLM 通常依赖外部视觉模块、地图、状态估计器和技能库，无法直接感知真实环境。

MLLM：多模态认知中枢

文字 + 图像/视频 + 机器人状态
                 ↓
        场景理解、推理与计划

MLLM 可以对视觉场景进行语义解释，但仍不一定具备准确的三维几何、动力学和实时控制能力。

VLA：视觉—语言—动作模型

图像 + 指令 + 本体状态
             ↓
      动作标记或动作块

VLA 将大模型的作用范围从“理解与规划”扩展到“动作生成”，但不能因此完全替代世界模型、状态估计、运动控制和安全系统。

---

二、LLM/MLLM 存在哪些局限性？

1. 语言知识不等于具身能力

LLM 可能知道“如何清理洒出的饮料”，但未必知道：

• 当前机器人是否拥有抹布；
• 机械臂是否能够到达目标；
• 物体是否过重、易碎或表面湿滑；
• 当前抓取姿态是否会碰撞；
• 机器人本体是否能够完成该动作。

因此，语言模型拥有的是大量语义和常识先验，而不是与特定身体、传感器和执行器完全对应的具身经验。

---

2. 物理规律和因果动力学能力有限

MLLM 可以描述视觉上合理的结果，但不一定能准确预测：

• 物体受力后的运动；
• 摩擦、重心、碰撞和接触结果；
• 液体、柔性物体和可变形物体的变化；
• 连续动作之间的累积物理后果；
• 不同机器人本体产生的动作差异。

互联网文本和图文预训练主要强化语义关联，并不天然等价于学习动作条件下的物理状态转移。

---

3. 精确三维空间推理不足

许多 MLLM 仍主要依赖二维图像特征，容易在以下问题上出错：

• 左右、前后和观察者视角；
• 深度、距离和尺度；
• 遮挡关系；
• 物体六自由度位姿；
• 毫米级装配误差；
• 动态场景中的速度、轨迹和碰撞时间。

因此，在精细操作、装配、抓取和复杂导航中，通常仍需要显式三维感知、位姿估计和运动学模型。

---

4. 开环推理容易积累错误

LLM 一次生成完整计划时，往往隐含假设中间步骤都能成功。但真实环境中：

• 抓取可能失败；
• 目标可能移动；
• 路径可能被临时阻挡；
• 传感器可能误检；
• 一个早期误差可能改变所有后续条件。

因此，具身智能需要持续执行：

观察 → 规划 → 执行 → 再观察 → 判断 → 重规划

而不能只依赖一次生成的长计划。

---

5. 幻觉与不确定性表达不足

模型可能：

• 声称看到了不存在的对象；
• 忽略遮挡或传感器盲区；
• 将不确定判断表达成确定事实；
• 生成语义合理但不可执行的计划；
• 在不同提示方式下给出不一致动作。

在普通问答中，这可能只是错误答案；在机器人系统中，则可能导致碰撞、物体损坏或人员风险。

---

6. 动作表示存在瓶颈

不同机器人具有不同的：

• 关节数量；
• 坐标系；
• 控制频率；
• 末端执行器；
• 速度和力限制；
• 动作空间；
• 控制接口。

将动作表示为文本或离散标记，并不能自动解决跨机器人迁移问题。离散动作标记还可能损失连续控制中的精度与时序信息。

---

7. 实时性、算力和能耗压力

大模型推理通常比传统控制器慢，而机器人控制往往要求：

• 姿态稳定达到毫秒级响应；
• 避障和急停具有确定时延；
• 机械臂以几十到数百赫兹运行；
• 边缘设备受功耗、显存和散热限制。

因此，大模型通常更适合秒级或更慢的高层规划，而平衡控制、局部避障、轨迹跟踪和力控制仍适合由小模型、优化器或传统控制器承担。

---

8. 长期记忆与持续学习能力有限

通用 MLLM 通常缺少稳定的长期环境记忆，例如：

• 某位用户通常把钥匙放在哪里；
• 某件物品几小时前被谁移动；
• 哪种抓取方式在当前机器人上经常失败；
• 当前家庭或工厂长期形成的特殊规则。

上下文窗口增大，并不等于形成可靠、可更新、可校验的长期记忆。持续运行还涉及错误记忆清除、隐私、知识更新和灾难性遗忘等问题。

---

9. 安全性与可验证性不足

LLM/MLLM 的输出具有概率性，很难像传统安全控制器一样提供确定的：

• 碰撞边界；
• 稳定性证明；
• 最大作用力；
• 最坏响应时间；
• 禁止区域约束；
• 故障状态下的安全行为。

因此，LLM/MLLM 不宜直接拥有无约束的执行权限。实际系统通常需要加入碰撞检测、权限检查、约束优化、急停、故障降级和人工接管机制。

---

三、世界模型在具身智能中的核心价值是什么？

1. 基本定义

世界模型是智能体内部对环境状态及其变化规律的表示与预测模型。

其典型形式可以写为：

[
p_{\theta}
\left(
s_{t+1:t+H},
o_{t+1:t+H},
r_{t:t+H}
\mid
h_t,
a_{t:t+H}
\right)
]

其中：

• (h_t)：截至当前时刻的观测、状态和历史；
• (a_{t:t+H})：计划执行的动作序列；
• (s)：环境和机器人内部状态；
• (o)：未来可能观察到的图像、触觉或其他信号；
• (r)：任务进度、奖励、风险或终止信号。

世界模型回答的核心问题是：

在当前状态下执行这组动作，未来可能发生什么？

它不仅要生成视觉上合理的未来，还要正确体现动作造成的后果，并能实际服务于规划、控制、训练、评估或安全验证。

---

2. 世界模型的核心价值

2.1 形成内部状态与环境记忆

真实传感器只能观察局部、带噪声且可能被遮挡的环境。世界模型可以把历史观测整合为内部状态，保留：

• 机器人和物体的位置；
• 对象之间的空间与功能关系；
• 已执行过的动作；
• 被遮挡对象的可能状态；
• 环境中相对稳定的规律。

因此，世界模型不仅是预测器，也是部分可观测环境中的状态估计和记忆基础。

---

2.2 在行动前进行内部“想象”

世界模型可以在内部试演多个候选方案：

方案 A：从左侧抓取
结果：可能碰撞障碍物

方案 B：先移动障碍物再抓取
结果：成功概率较高

方案 C：从上方抓取
结果：可能导致杯子倾倒

机器人无需真实执行所有方案，就可以比较预期结果。这种反事实推演是模型预测控制、搜索规划和风险评估的重要基础。

---

2.3 支持长时规划

纯反应式策略通常根据当前观测立即输出动作，容易只优化短期结果。世界模型可以预测多步后果，使机器人考虑：

• 当前动作是否会妨碍后续步骤；
• 是否需要先准备工具；
• 电量是否足以完成任务；
• 中间状态是否可恢复；
• 当前收益是否与长期目标冲突。

这使智能体具备更强的前瞻能力。

---

2.4 提高数据效率

真实机器人采集数据昂贵、缓慢且具有风险。世界模型学习后，可以生成大量内部想象轨迹，用于：

• 强化学习；
• 策略后训练；
• 稀有情况训练；
• 失败案例生成；
• 行为数据扩充；
• 仿真到现实迁移。

世界模型因此可以减少对真实机器人试错的依赖。

---

2.5 评估与筛选动作

世界模型可以在执行前：

• 给候选动作排序；
• 预测成功概率；
• 估计时间、能耗和风险；
• 拒绝高风险动作；
• 判断任务是否完成；
• 比较不同策略或模型检查点。

它因此可以同时充当模拟器、评估器和安全预检器。

---

2.6 连接语义目标与物理执行

MLLM 可以理解“把玻璃杯安全地放在桌上”的语义，但世界模型需要进一步预测：

• 夹持力是否合适；
• 应从哪个角度接近；
• 放置过程是否会倾倒；
• 松开夹爪后是否稳定；
• 轨迹是否会碰撞其他物体。

因此，世界模型是从“语义合理”走向“物理可实现”的关键桥梁。

---

四、世界模型如何分类？

世界模型没有唯一、互斥的分类标准。同一个模型可以同时属于多个类别。较合理的做法是沿多个正交维度分类。

---

1. 按功能与策略耦合方式分类

1.1 决策耦合型世界模型

世界模型直接参与动作选择或策略训练。

常见形式包括：

预测后行动

当前状态
   ↓
世界模型预测未来轨迹
   ↓
策略模型或逆动力学模型
   ↓
机器人动作

规划型

规划器在世界模型内部尝试不同动作序列，比较未来结果，再选择动作，例如模型预测控制（MPC）。

统一预测—动作模型

世界预测和动作生成共享同一模型主干，或在联合训练中同时学习未来状态和动作。

---

1.2 通用模拟器型世界模型

世界模型不绑定某一固定策略，而是作为独立交互环境，为多个策略提供：

• 训练轨迹；
• 环境反馈；
• 奖励与终止信号；
• 策略测试；
• 数据生成；
• 风险场景构造。

---

2. 按内部表示分类

2.1 符号或结构化世界模型

内部表示包括：

• 对象；
• 属性；
• 场景图；
• 谓词；
• 可供性；
• 因果关系；
• 任务状态机。

示例：

On(cup, table)
Open(drawer)
Reachable(robot, cup)
Fragile(cup)

优势：

• 可解释；
• 组合性强；
• 适合长时任务规划；
• 容易加入逻辑约束。

局限：

• 难以完整描述连续运动；
• 对复杂接触和视觉细节表达不足；
• 结构化状态通常依赖人工设计或额外感知模块。

---

2.2 全局潜在向量模型

将完整场景压缩为潜在状态：

[
z_{t+1}=f_{\theta}(z_t,a_t)
]

优势：

• 计算效率较高；
• 适合强化学习和连续控制；
• 可以避免重建与任务无关的像素细节。

局限：

• 空间结构可能被过度压缩；
• 可解释性较弱；
• 潜在状态可能包含模型难以校验的偏差。

---

2.3 标记序列模型

将视觉块、对象、状态和动作编码成标记序列，再使用 Transformer 预测未来标记。

优势：

• 容易与语言模型结合；
• 适合统一多模态序列建模；
• 可利用大规模 Transformer 基础设施。

局限：

• 序列可能非常长；
• 连续空间和精细几何容易受到标记化误差影响；
• 实时推理成本较高。

---

2.4 空间潜在网格模型

保留二维或三维空间布局，例如：

• 特征图；
• 占据网格；
• 鸟瞰图；
• 三维体素；
• 多视角空间特征。

优势：

• 空间结构明确；
• 适合导航、避障、自动驾驶和操作任务；
• 容易与几何约束结合。

局限：

• 存储和计算成本较高；
• 大范围、高分辨率场景扩展困难。

---

2.5 像素或视频世界模型

直接生成未来图像或视频：

[
(o_t,a_{t:t+H})
\rightarrow
\hat{o}_{t+1:t+H}
]

优势：

• 预测结果可视化程度高；
• 能保留丰富视觉信息；
• 可利用大规模视频生成模型；
• 可作为交互式视觉模拟器。

局限：

• 视觉逼真不等于物理正确；
• 长时间生成容易出现身份漂移；
• 计算成本高；
• 容易浪费容量预测无关纹理；
• 动作条件可能不够忠实。

---

2.6 分解式三维或四维世界模型

将场景分解为：

• 几何；
• 深度；
• 对象；
• 运动轨迹；
• 相机视角；
• 材质；
• 渲染成分；
• 时空变化。

优势：

• 多视角一致性更强；
• 更适合三维空间推理和具身操作；
• 可以显式维护对象与几何结构。

局限：

• 架构复杂；
• 数据标注与训练成本高；
• 对动态和可变形物体建模仍然困难。

---

3. 按时间预测方式分类

3.1 顺序滚动型

逐步预测：

[
s_t
\rightarrow
s_{t+1}
\rightarrow
s_{t+2}
\rightarrow
\cdots
]

优势：

• 每一步都可以插入新动作；
• 适合闭环控制；
• 自然支持在线重规划；
• 预测长度灵活。

局限：

• 误差会逐步累积；
• 长时推演速度较慢；
• 后期状态可能偏离真实分布。

---

3.2 全局轨迹或差分预测型

一次预测完整未来、目标状态或起点到终点的总体变化：

[
(s_t,a_{t:t+H})
\rightarrow
s_{t+H}
]

也可以一次生成完整轨迹。

优势：

• 可以并行生成；
• 减少逐步滚动带来的部分误差；
• 适合高层计划和终局判断。

局限：

• 中间过程可能不够精细；
• 难以在中途插入反馈；
• 可能出现终点合理但过程不可执行的问题。

---

4. 按学习目标分类

类型	学习目标	典型用途
动力学/模型式强化学习世界模型	预测潜在状态、奖励、价值和终止条件	策略训练、MPC、连续控制
生成式视觉世界模型	生成动作条件下的未来图像或视频	视觉规划、模拟、数据生成
预测嵌入世界模型	预测未来高层特征，不重建全部像素	快速规划、可行性判断
符号与因果世界模型	预测对象关系、谓词、可供性和因果状态变化	长时任务规划、解释
混合世界模型	同时预测潜在状态、视频、奖励、语言和动作	通用机器人、VLA 后训练

---

五、世界模型本身的局限性

世界模型不是完美的物理模拟器，主要问题包括：

1. 长时误差累积

滚动预测越长，模型偏差通常越大，最终可能生成与真实环境明显不一致的状态。

2. 动作条件不准确

模型生成的未来可能视觉上合理，却没有忠实反映输入动作的真实效果。

3. 多模态未来难以覆盖

相同状态和动作在不确定环境中可能产生多个合理结果，单一确定性预测容易遗漏重要分支。

4. 接触动力学建模困难

抓取、摩擦、碰撞、柔性物体、液体和可变形物体仍然是世界模型最困难的部分之一。

5. 视觉真实性不等于控制价值

高质量视频生成指标并不能保证模型能够帮助机器人选择正确动作。

6. 计算成本高

高分辨率视频或三维世界模型通常难以满足实时控制要求。

7. 非视觉模态利用不足

许多世界模型仍以视觉为主，对触觉、力觉、声音和本体状态的建模不足。

8. 模型偏差可能被策略利用

策略可能学会利用世界模型中的错误规律，在内部模拟中表现很好，但在真实环境中失败。

9. 评估标准不统一

仅使用图像质量或视频质量指标，无法充分衡量：

• 物理一致性；
• 动作忠实度；
• 长期稳定性；
• 真实任务成功率；
• 安全价值。

---

六、LLM/MLLM 与世界模型如何协同？

一个较合理的系统闭环是：

用户目标
   ↓
LLM/MLLM
理解语义、识别场景、分解任务
   ↓
生成多个候选计划或候选动作
   ↓
世界模型
模拟候选动作的未来后果
   ↓
规划器 / 价值模型 / 安全层
比较成功率、代价、时间和风险
   ↓
实时控制器
生成精确轨迹、力和关节命令
   ↓
机器人执行
   ↓
新观测与执行反馈
   └────────────→ 更新计划与世界状态

各模块的核心问题如下：

模块	回答的核心问题
LLM/MLLM	应该完成什么？如何分解任务？当前场景在语义上意味着什么？
世界模型	执行某个动作后，环境和机器人会如何变化？
规划器/策略	在多个可能动作中，应该选择哪一个？
控制器	如何准确、稳定、实时地执行动作？
安全系统	这个动作是否允许执行？何时必须停止、回退或请求人工介入？

---

七、总结

LLM/MLLM 与世界模型的关系可以概括为：

LLM/MLLM 提供语义理解与任务推理，世界模型提供动作后果预测与内部模拟。

进一步说：

• LLM/MLLM 解决“任务是什么、步骤是什么”；
• 世界模型解决“执行后会发生什么”；
• 规划器解决“应该选哪个动作”；
• 控制器解决“如何精确执行”；
• 安全层解决“是否可以执行”。

未来具身智能的发展重点，不是让某一个模型独自承担全部功能，而是把：

• MLLM 的语义泛化能力；
• 世界模型的物理预测能力；
• 规划器的搜索与优化能力；
• 控制器的实时精确性；
• 安全系统的确定性约束；

组合成可靠、可解释、可验证的闭环系统。

---

参考资料

1. Driess, D. et al. PaLM-E: An Embodied Multimodal Language Model.
   https://arxiv.org/abs/2303.03378

2. Ahn, M. et al. Do As I Can, Not As I Say: Grounding Language in Robotic Affordances (SayCan).
   https://arxiv.org/abs/2204.01691

3. Huang, W. et al. Inner Monologue: Embodied Reasoning through Planning with Language Models.
   https://arxiv.org/abs/2207.05608

4. Brohan, A. et al. RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control.
   https://arxiv.org/abs/2307.15818

5. Hafner, D. et al. Mastering Diverse Domains through World Models (DreamerV3).
   https://arxiv.org/abs/2301.04104

6. Hansen, N. et al. TD-MPC2: Scalable, Robust World Models for Continuous Control.
   https://arxiv.org/abs/2310.16828

7. Yang, M. et al. UniSim: Learning Interactive Real-World Simulators.
   https://arxiv.org/abs/2310.06114

8. Meta AI. V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning.
   https://ai.meta.com/research/publications/v-jepa-2-self-supervised-video-models-enable-understanding-prediction-and-planning/