配套动态展示图

动态图展示顺序：

1. 总览架构；
2. 感知与 MLLM；
3. WM 世界模型；
4. 规划与控制；
5. 执行反馈闭环。

1. 结论

MLLM-WM（Multimodal Large Language Model + World Model， 多模态大语言模型 + 世界模型）联合架构，不一定是具身智能的唯一核心方案，但它是当前最有代表性的核心候选架构之一。

如果目标是让机器人或智能体在开放环境、长时任务、复杂交互、不完全信息条件下稳定工作，那么仅靠传统规则系统，或仅靠单一端到端策略网络，通常都不够。

MLLM-WM 联合架构的价值在于：

• MLLM 擅长：多模态理解、语言交互、任务分解、高层推理；
• WM 擅长：状态建模、未来预测、反事实仿真、风险评估；
• 两者结合后，可以把“会说、会理解”与“会预测、会行动”打通，形成一个更接近真实具身智能的闭环系统。

---

2. 什么是 MLLM？什么是 WM？

2.1 MLLM（多模态大语言模型）

MLLM 可以处理图像、文本、语音、视频、传感器描述等多模态信息，并完成：

• 场景理解
• 指令理解
• 目标识别与语义关联
• 任务分解
• 多轮交互与解释
• 高层策略推理

你可以把 MLLM 理解为具身系统中的“大脑皮层式认知层”：
它负责把“我看到了什么”“用户想让我做什么”“现在应该先做哪一步”这些问题组织起来。

2.2 WM（世界模型）

世界模型（World Model）是智能体对外部世界和自身状态的内部建模能力。它通常包含：

• 当前状态估计（state estimation）
• 环境动力学预测（dynamics prediction）
• 行动后果预测（outcome prediction）
• 反事实推演（counterfactual simulation）
• 不确定性估计（uncertainty modeling）

你可以把 WM 理解为具身系统中的“内部模拟器 / 预测器”：
它不只是理解当前世界，还能预测“如果我这么做，接下来会发生什么”。

---

3. 为什么 MLLM-WM 联合架构很重要？

3.1 仅有 MLLM 的问题

如果只有 MLLM，系统通常具备很强的语义理解和语言推理能力，但会出现问题：

• 对物理世界约束建模不足
• 难以精确预测动作后果
• 对时序变化和闭环控制支持有限
• 容易“会解释，但不一定真能执行”

3.2 仅有 WM 的问题

如果只有世界模型，系统可能对状态预测与控制很好，但又会遇到：

• 开放场景语义理解能力不足
• 指令泛化能力弱
• 任务迁移能力有限
• 难以处理复杂语言交互与抽象目标

3.3 联合后的优势

MLLM + WM 可以形成互补：

模块	主要能力	解决的问题
MLLM	理解、推理、分解、交互	“任务是什么？”“物体之间是什么关系？”
WM	预测、仿真、评估、闭环更新	“这样做会发生什么？”“哪个动作更安全/更优？”
联合系统	认知 + 预测 + 规划 + 执行	从理解世界到作用世界

---

4. 二者如何协同工作？

典型协同流程如下：

Step 1：感知输入

智能体从相机、深度、激光雷达、触觉、语音等获取多模态观测。

Step 2：MLLM 进行语义理解与任务推理

MLLM 对观测进行解释，例如：

• 桌上有杯子、盒子、植物；
• 用户说“把蓝色杯子放到盒子旁边”；
• 任务可拆解为：定位杯子 → 判断可抓取姿态 → 规划路径 → 执行放置。

Step 3：WM 建模当前世界并预测未来

世界模型基于当前状态与候选动作进行内部模拟，例如：

• 机械臂从左侧抓杯子是否会碰到植物？
• 先移动盒子再拿杯子，是否更安全？
• 这个动作执行后，物体会不会滑落？

Step 4：规划器 / 策略模块选择动作

规划模块综合 MLLM 给出的高层意图、WM 给出的未来预测，选择最优动作序列：

• 调用技能库（抓取、移动、放置）
• 生成轨迹
• 下发控制指令

Step 5：执行与反馈闭环

动作执行后，环境发生变化，新的观测再次进入感知系统：

• 若结果符合预期，继续下一步；
• 若结果偏离预期，WM 更新状态，MLLM 重新推理，系统进行重规划。

这就是一个完整的具身闭环。

---

5. 一个直观例子：机器人整理桌面

任务：“请把桌面的蓝色杯子放到纸箱旁边，并不要碰倒盆栽。”

MLLM 的作用

• 理解语言指令
• 识别“蓝色杯子”“纸箱”“盆栽”
• 生成高层任务分解：
  1. 找到杯子；
  2. 找到可行抓取位姿；
  3. 判断目标放置点；
  4. 完成搬运。

WM 的作用

• 预测不同抓取路径是否会碰撞
• 模拟放置后杯子是否稳定
• 评估桌面可达性与遮挡关系
• 在执行偏差出现时进行状态更新

协同效果

• MLLM 负责“知道要做什么”；
• WM 负责“知道这样做会怎样”；
• Planner/Policy 负责“把最优动作真正执行出来”。

---

6. 为什么说它是“核心候选方案”，而不是“唯一答案”？

因为具身智能仍处在快速发展阶段，目前至少存在几类主流路线：

1. 端到端策略学习（如 imitation learning / RL / VLA）
2. MLLM + Tool Use / Skill Library
3. MLLM + WM + Planner
4. 传统模型预测控制（MPC）+ 感知模块
5. 层级式混合架构（高层认知 + 中层规划 + 低层控制）

其中，MLLM-WM 更适合成为高层认知与中层规划的核心组合，但在真实系统中，通常还需要：

• 低层控制器
• 运动规划器
• 记忆系统
• 工具调用系统
• 安全约束模块
• 在线学习或自适应模块

所以，更准确的说法是：

MLLM-WM 联合架构是具身智能中极具潜力的“核心认知-预测中枢”，而不是单独包打天下的全部系统。

---

7. 该架构的关键优势

7.1 开放任务泛化更强

MLLM 提升了系统对开放指令、复杂语义和未见任务的适应能力。

7.2 具备“先想后做”的能力

WM 让系统不只是响应，而是能够内部模拟，进行试错前置与风险规避。

7.3 更适合长时序任务

例如做饭、收纳、巡检、装配等，需要多步任务分解与中途纠错。

7.4 可解释性更好

MLLM 可以给出“为什么这样规划”，WM 可以给出“预测依据是什么”，系统更便于调试与人机协作。

---

8. 当前挑战

尽管前景很好，MLLM-WM 联合架构仍然存在明显挑战：

8.1 表征对齐难

语言语义、视觉观测、机器人状态、物理世界动力学之间，如何统一到同一表示空间，是难点。

8.2 世界模型精度不足

现实世界复杂、多变、部分可观测，导致世界模型容易累积误差。

8.3 计算成本高

MLLM 本身代价较高，WM 若再做滚动预测/仿真，会进一步增加时延。

8.4 在线闭环鲁棒性要求高

具身系统要处理遮挡、噪声、执行偏差、突发变化，单靠离线训练往往不够。

8.5 数据获取困难

高质量具身数据需要动作、状态、视觉、语言、反馈等联合标注，成本很高。

---

9. 推荐理解方式：把它看成“三层系统”

你可以把实际具身智能系统理解为三层：

第一层：认知层（MLLM）

负责理解、沟通、推理、任务分解。

第二层：预测层（WM）

负责状态建模、未来推演、风险评估。

第三层：执行层（Planner / Policy / Controller）

负责规划、技能调用、轨迹生成与控制执行。

这三层共同构成：

---

10. 最终结论

“MLLM-WM 联合架构”非常可能成为下一代具身智能系统的关键核心方案之一。

它的本质不是简单地把一个大模型和一个世界模型拼起来，而是构建一种：

• 能理解任务；
• 能预测未来；
• 能规划动作；
• 能通过反馈不断修正；

的认知—预测—执行闭环。

如果用一句话概括：

MLLM 决定“做什么、为什么做”，WM 决定“这么做会怎样”，两者协同让具身智能真正具备从理解世界到作用世界的能力。

---