读《基于大模型的具身智能系统综述》：大模型在机器人里到底负责什么

这篇综述我读了两遍。第一遍按章节往下看，第二遍主要回到控制层级图和几篇代表工作上。读完后，最直接的感受是：它有用的地方并不在于把模型名字列得多全，而在于把“用大模型控制机器人”拆成了几个不同的问题。

比如，用户说一句“把桌上的杯子拿过来”，模型需要先听懂这句话，再判断杯子在哪里，然后决定走过去、伸手、抓取、返回。每一步需要的模型能力并不相同。把所有事情都交给一个端到端模型，和让大模型只负责高层规划、下面接视觉与控制模块，实际是两种很不一样的设计。

一、论文信息

• 标题：基于大模型的具身智能系统综述
• 期刊：自动化学报，2025，51(1)：1–19
• 作者：王文晟、谭宁、黄凯、张雨浓、郑伟诗、孙富春
• 单位：中山大学计算机学院、清华大学计算机科学与技术系
• DOI：10.16383/j.aas.c240542
• 链接：https://doi.org/10.16383/j.aas.c240542

这是一篇中文综述。原文投稿于 2024 年 8 月，录用时间为 2024 年 9 月，所以主体工作大致截止到 2024 年 9 月。

二、我读完后记住的几点

如果只让我记几个结论，我会留下这些：

1. 大模型给机器人补上的是语义、常识和任务分解能力，不是精确的底层控制。
2. 论文把大模型参与的控制分成了需求、任务、规划和动作四级，下面还有传统的基元控制与伺服控制。
3. 现有系统大致可以分成端到端 VLA，以及冻结大模型再调用外部模块两条路线。
4. 训练数据主要来自仿真、模仿学习和视频，三种数据各有各的问题。

这几条并不复杂，但后面的论文基本都可以放进来比较。尤其是控制层级这一部分，比简单按“LLM、VLM、VLA”分类更容易看出一个系统到底把模型放在了什么位置。

三、这篇综述为什么会出现

传统机器人系统通常是为某个场景设计的。换一种物体、换一种摆放方式，或者换一句表达相近但细节不同的指令，系统可能就需要重新调整。

以抓取为例，实验室里固定摆放的物体和真实家庭环境中的物体差别很大。后者会有遮挡、反光、未知类别、柔性物体，还会有人突然移动场景。只靠一个固定类别的检测器和预先写好的抓取规则，很难覆盖这些情况。

大模型的价值在于，它在互联网数据上见过更多对象、场景和语言表达。把它接到机器人上之后，至少可以利用已有的开放词汇理解能力去识别新物体，也可以把长句拆成几个子任务。

但已有综述往往没有把这个过程讲清楚。有的文章只讨论具身智能整体，没有把大模型单独拿出来；有的文章虽然讨论 LLM 在机器人上的应用，却很少说明模型在整条控制链中的位置。

所以这篇综述做的事情，是把分散的工作放到同一个框架里，回答大模型在感知、规划、动作和数据闭环中分别起什么作用。

四、全文的技术框架

4.1 感知部分：语义如何落到三维空间

综述把感知与理解分成了几个方向：多模态理解、环境建模、可供性和约束，以及人类反馈。

多模态理解比较直接，主要是让模型看懂图像、文本和用户指令。ViLA、MultiPLY 等工作会让模型输出任务步骤或控制内容。环境建模则更接近三维视觉，会用到点云、体素、NeRF、3DGS 和语义地图。

这一部分里，我比较关注的是从二维语义到三维操作的连接：

RGB-D / 语言指令
    -> 开放词汇语义
    -> 三维几何与场景表示
    -> 可供性和碰撞约束
    -> 规划器可使用的目标与轨迹条件

只说“这是杯子”还不够。机器人还要知道杯柄在哪个方向，桌面是否平整，机械臂从上方抓会不会碰到旁边的物体。这些信息靠语言模型本身很难获得，需要三维表示和感知模块补上。

论文提到的 C2F-ARM、PerAct、Act3D、LangSplat、Splat-MOVER 等方法，大体都在处理“语义特征如何进入空间表示”这件事。不同方法的差别主要在于用体素、点图、NeRF 还是 3DGS，以及这些表示是否方便查询、重建和实时更新。

如果读者本身做 SLAM、三维重建或 3DGS，这一节会比较熟悉。它也能解释为什么具身智能不只是把一个视觉语言模型接到机械臂上那么简单。

4.2 控制层级：大模型一般走到哪一步

论文把控制链拆成六层。前四层是大模型讨论的重点，后两层更适合传统控制。

层级	大致做什么	原文中的代表工作
需求级	理解用户要什么，并提取目标与限制	SayCan、PaLM-E、Text2Motion
任务级	把目标拆成子任务，选择技能或生成代码	ViLA、OK-Robot、CaP、VIMA
规划级	生成路径、轨迹、价值图或未来状态	VoxPoser、3D-VLA、iVideoGPT、NaVid
动作级	输出动作 token、末端位姿或关节目标	RT-1、RT-2、RT-X、Gato、ManipLLM
基元级	轨迹插值、控制律和增益调节	传统机器人控制
伺服级	产生电机控制信号	传统伺服控制

这样拆开之后，很多论文的区别就比较清楚了。SayCan 主要解决“下一步该调用哪个技能”，VoxPoser 更关心怎么把语言常识变成三维空间中的可操作区域，RT-2 则尝试把视觉语言模型直接训练成视觉—语言—动作模型。

大模型在需求层和任务层比较好用，因为这里主要涉及自然语言和常识。到了规划层，它就需要空间表示、碰撞检测和运动规划器配合。再往下走，控制频率、误差累积和硬件安全会变得越来越重要。

因此，论文里虽然讨论了很多“大模型控制机器人”的工作，但并没有得出“大模型应该取代传统控制”的结论。更合理的分工反倒是大模型处理较慢的语义任务，底层仍由专门控制器执行。

4.3 两种系统架构

端到端 VLA

端到端路线把图像、语言和动作放进同一个模型。RT-1、RT-2、RT-X、Gato、ACT/ALOHA 都比较有代表性。

它的优势是接口统一。模型接收观测和指令，直接输出动作或动作序列，不需要人手工规定每个模块怎么传信息。数据足够多时，端到端训练也可能学到一些难以显式写出的视觉运动规律。

问题是代价很高。机器人数据不像网络图文那样容易获得，跨机器人形态的数据又需要对齐。模型越大，部署和实时控制也越困难。实际运行时还要考虑动作抖动、异常输入和失败恢复。

冻结大模型加外部工具

另一条路线更接近模块化系统。LLM 或 VLM 负责拆任务，CLIP、SAM、目标检测、抓取生成和运动规划器负责具体执行。SayCan、PaLM-E、VoxPoser、VIMA、TidyBot 都属于这一类思路。

这种系统比较容易解释，也方便替换某个模块。比如抓取效果不好，可以单独换抓取器，而不必重新训练整个大模型。

但模块之间的接口也会带来问题。大模型生成的任务描述可能丢掉了连续空间信息，视觉模块的定位误差会继续传给规划器，规划器又可能假设执行器完全理想。系统看起来每个模块都合理，连起来却不一定稳定。

两种路线没有绝对优劣。数据充足、任务相对固定时，端到端模型更有吸引力；数据有限、任务开放或需要频繁加入工具时，模块化方案更容易起步。

4.4 数据从哪里来

数据来源	主要好处	主要问题	代表工作
仿真	成本低，可并行，能自动生成任务	物理和视觉与真实环境有差距	RoboGen、MimicGen、DrEureka、BEHAVIOR-1K
模仿学习	有直接的观测—动作对应关系	采集成本高，示范分布有限	ALOHA、UMI、HumanPlus、GELLO
视频学习	数据多，行为和场景丰富	通常没有动作标签，机器人形态也可能不同	MineDojo、VRB、VPT、RoboCLIP

三种数据经常一起使用。视频和互联网图文可以提供世界知识，人类示教提供真实动作，仿真提供大规模试错环境，最后再通过微调、蒸馏或 Sim2Real 迁移到真机。

困难的地方在于它们并不天然对齐。视频中的动作是人的手，真机数据可能来自二指夹爪；仿真中的物理参数和真实环境有差异；模仿学习又受采集设备和操作者习惯影响。数据量大并不能自动解决这些问题。

4.5 全文对应的系统流程

用户目标
    ↓
需求理解
    ↓
任务分解与技能选择
    ↓
多模态感知和三维场景建模
    ↓
路径、轨迹或未来状态规划
    ↓
动作生成
    ↓
底层控制
    ↓
执行与环境反馈

这个流程在实际系统中是闭环的。执行失败、人的纠正或场景变化都会回到感知与规划环节。大模型不一定每一步都参与，它更多是在某些较慢、较抽象的环节中提供判断。

五、几类技术路线放在一起看

原文主要按系统架构分成了端到端和模块化两类。如果把它放回具身智能的发展历史，还能看到几条更长的线索。

路线	关心的问题	代表工作	遗留的问题
经典符号规划	如何用规则和搜索完成任务	经典 Sense-Plan-Act、任务与运动规划	开放世界建模困难，规则维护成本高
行为式机器人	如何通过感知—行动闭环快速响应	Brooks 的行为式机器人	复杂语义和长时程规划较弱
学习式策略	如何从数据中学到视觉运动技能	模仿学习、强化学习、ACT、Diffusion Policy	对数据和分布变化比较敏感
大模型模块化规划	如何利用语言常识调用工具和技能	SayCan、PaLM-E、VoxPoser、CaP	延迟、接口误差和物理 grounding
统一 VLA	如何把视觉、语言和动作放进同一模型	RT-1、RT-2、RT-X、OpenVLA	数据、实时性和跨机器人迁移
世界模型规划	如何预测未来并基于预测行动	iVideoGPT、3D-VLA、Dreamer 系列	预测误差和物理一致性

时间上大致可以这样理解：

• 早期以符号规划和经典机器人控制为主；
• 1980 年代以后，行为式机器人开始强调实时交互；
• 2010 年代，深度学习和强化学习推动端到端视觉运动控制；
• 2020 年以后，GPT-3、CLIP 等模型开始进入任务规划和多模态感知；
• 2022 至 2024 年，RT、ALOHA、VoxPoser、3D-VLA 等工作把动作生成、三维表示和世界模型逐渐连起来。

这条历史线不是原文的主要章节，而是我在读完后根据文中代表工作补出来的。它不代表领域只有这几种做法，只是有助于把不同论文放到相应位置。