具身智能・机器人・无人机：从零开始理解“能看、能想、能动”的智能体——2026 完整入门与前沿指南

申零

564人浏览 · 2026-09-01 14:53:32

申零 · 2026-09-01 14:53:32 发布

具身智能・机器人・无人机：从零开始理解“能看、能想、能动”的智能体——2026 完整入门与前沿指南

适合谁读？ 如果你刚开始接触具身智能（Embodied AI）、机器人学习（Robot Learning）、视觉语言动作模型（VLA）、SLAM、无人机自主飞行、ROS 2 / PX4，或者看论文时经常被 LLM、VLM、VLA、World Model、Diffusion Policy、MPC、OCC、VIO 等缩写淹没，这篇文章就是为你准备的。

本文更新到：2026-09-01。 前沿部分重点参考了 2026 年最新的机器人世界模型、VLA 数据基础设施、Aerial VLN、AutoFly、ActiveFly-Bench、Gemini Robotics 2、NVIDIA Isaac GR00T 1.7、DreamZero 等公开论文和官方资料。

0. 先别背术语：具身智能到底在解决什么？

“具身智能”最容易被误解成“给机器人装一个大模型”。这不够准确。

真正的具身智能要解决的是：一个拥有物理身体的智能体，如何持续感知真实世界、理解任务、形成内部状态、预测后果、规划动作，并通过身体执行，再根据结果不断修正。

一句话概括：

传统 AI 主要解决“看懂、听懂、说出来”；具身智能必须进一步解决“在现实世界里做对”。

一个聊天机器人说错一句话，最多回答错误；一个机械臂、移动机器人或无人机做错一个动作，可能撞坏设备、抓碎物体、坠机，甚至危及人身安全。因此，具身智能从来不只是“模型精度问题”，而是 感知—决策—控制—安全—实时系统 的综合问题。

0.1 一个真实机器人闭环长什么样？

在这里插入图片描述
如果你把整篇文章只记住一张图，就记住上面这张。

0.2 三类常见“具身载体”

载体	典型任务	最大难点
机械臂 / 双臂 / 灵巧手	抓取、装配、折叠、插拔、做饭	接触物理、精细控制、动作泛化
移动机器人 / 人形机器人	导航、搬运、家务、巡检、全身操作	长时序任务、全身控制、跨场景泛化
无人机 / 多无人机	搜救、巡检、目标跟踪、探索、运输	6-DoF 高动态控制、视角变化、载荷与算力限制

第一部分：先建立完整技术地图

1. 具身智能技术栈：从“眼睛”到“肌肉”

对于入门者，最有效的方法不是从某一个热门模型开始，而是按系统分层。

1.1 感知层：机器人如何知道“世界里有什么”？

机器人常见传感器包括：

RGB 相机：颜色与纹理信息丰富，成本低，但无法直接得到精确距离。
双目 / RGB-D：能直接或间接估计深度，适合室内机器人、机械臂。
LiDAR：对几何结构敏感，适合定位、建图、避障，但成本、重量与功耗更高。
IMU：测角速度与线加速度，频率高，但积分会漂移。
GNSS / RTK：提供全球绝对位置，户外无人机常用；室内和遮挡环境会失效。
力/力矩传感器（F/T）：告诉机器人“是否碰到了”“用了多大力”。
触觉传感器：用于判断接触、滑移、局部形变、抓持稳定性。
事件相机（Event Camera）：在高速运动、高动态光照下有优势，适合高机动无人机与机器人视觉。

感知层不是简单“识别物体”。真实系统往往同时需要：

目标检测 → 实例/语义分割 → 深度估计 → 光流 → 多目标跟踪
         → 3D重建 → 开放词汇识别 → 场景图 → 可供性（Affordance）

其中 Affordance（可供性） 很重要。它问的不是“这是什么”，而是：

这个物体的哪个部位能抓？哪一面能推？哪个把手能拉？哪里可以落脚？

这才是从“视觉理解”走向“行动理解”的关键。

1.2 状态估计与空间表示：机器人必须知道“我在哪、它在哪”

机器人控制需要坐标。

常见状态可表示为：

[
\mathbf{x}_t = [\mathbf{p}_t, \mathbf{q}_t, \mathbf{v}_t, \boldsymbol{\omega}_t, \mathbf{b}_a, \mathbf{b}_g]
]

其中：

(\mathbf{p})：位置；
(\mathbf{q})：姿态四元数；
(\mathbf{v})：线速度；
(\boldsymbol{\omega})：角速度；
(\mathbf{b}_a, \mathbf{b}_g)：IMU 偏置。

真实机器人常见空间表示：

表示	直观理解	优点	局限
2D Grid Map	平面棋盘格地图	简单、成熟	不适合复杂 3D
Occupancy Grid	每格是否被占据	适合导航	细节有限
BEV	从天上俯视世界	多传感器融合方便	垂直信息被压缩
Point Cloud	一堆 3D 点	保留真实几何	数据量大、结构稀疏
Voxel / 3D Occupancy	3D 空间方格	可直接做碰撞查询	高分辨率很耗内存
TSDF / ESDF	表面/障碍物距离场	重建与规划友好	动态更新成本高
NeRF	神经隐式场景	新视角渲染好	几何与实时性受限
3D Gaussian Splatting	高斯椭球场景	渲染快、效果好	动态与可编辑性仍在发展
Scene Graph	物体+关系图	适合语义推理	几何精度不够

前沿系统正在把这些表示从“纯几何地图”升级为 可推理的语义空间记忆：不仅知道“这里有墙”，还知道“这是门”“门后是厨房”“红色杯子上次在桌面右侧”。

1.3 决策层：机器人如何决定“下一步做什么”？

决策至少可以分三层：

Task Planning（任务规划）：把“整理实验室”拆成检查设备、读取仪表、记录异常、返回充电等子任务。
Skill Planning（技能规划）：选择“导航”“抓取”“开门”“按按钮”等技能。
Motion / Control（运动与控制）：具体到轨迹、速度、关节角、推力等。

经典机器人系统强调模块化：

任务规划器 → 行为树/状态机 → 运动规划器 → 控制器

现代具身系统则会加入：

LLM/VLM → Embodied Reasoner → VLA/Policy → Safety Controller

但请注意：VLA 并不会让传统控制理论自动失效。 一个大模型输出动作，并不意味着可以直接绕过动力学、约束和安全层。

1.4 执行层：模型输出最终怎么变成电机动作？

机器人论文里一句“输出 action”，实际可能代表完全不同的东西：

末端执行器位姿增量：(\Delta x, \Delta y, \Delta z, \Delta R)
关节位置：(q_{1:n})
关节速度：(\dot q_{1:n})
关节力矩：(\tau_{1:n})
夹爪开/合
移动底盘线速度、角速度
无人机位置/速度/加速度 setpoint
无人机姿态、角速度、推力
技能 token，例如 PICK(obj_3)、OPEN_DRAWER()

因此读 VLA 论文时，第一件事不是看模型多大，而是看：

它的动作空间到底是什么？控制频率是多少？谁负责底层闭环？

第二部分：LLM、VLM、VLA、RFM、World Model 到底有什么区别？

2. 一张图理解多模态具身模型家族

3. LLM：语言大脑，但不是机器人本体

LLM（Large Language Model） 擅长：

语言理解；
常识；
高层任务分解；
工具调用；
代码生成；
逻辑与知识推理。

例如：

“巡检实验室所有仪器，发现温度超过 80℃ 的设备就记录并报警。”

LLM 可以拆成：

获取实验室设备清单；
逐设备导航；
定位温度仪表；
读取温度；
判断阈值；
记录并汇报。

但它本身并不知道机械臂当前位置，也不会自动产生稳定的 500 Hz 电机控制信号。

LLM 在机器人里最适合做什么？

高层 planner；
技能选择器；
语义记忆；
失败原因总结；
人机自然语言接口。

不适合直接做什么？

高频力矩控制；
强实时飞控；
毫秒级碰撞避障；
不加安全层的真实机器人直接执行。

4. VLM / MLLM：让模型“看懂”世界

VLM（Vision-Language Model） 将视觉和语言映射到统一语义空间。

典型任务：

“桌上有几个杯子？”
“哪个按钮是急停？”
“无人机前方哪里可以安全穿过？”
“这个机械零件哪一端是插头？”

VLM 常作为具身系统的“语义视觉前端”。

常见基础模型包括 CLIP / SigLIP、BLIP 系列、LLaVA、Qwen-VL 系列、Gemini 等。

一个容易犯的错误

“VLM 不能输出动作”不是绝对的。

更准确地说：

标准 VLM 的训练目标通常是语义/文本输出；如果把动作表示成 token 或增加动作头，它可以被改造成 VLA。

RT-2 的核心思想之一，就是把机器人动作离散化成 token，让 VLM 结构能够直接学习“视觉+语言→动作”。

官方介绍：RT-2: New model translates vision and language into action

5. VLA：目前机器人基础模型最核心的范式之一

VLA（Vision-Language-Action） 的基本输入输出：

视觉观测 + 语言任务 + 机器人状态 → 动作

例如：

输入：桌面相机图像 + “把红杯放进水槽” + 当前关节状态
输出：未来 20~50 步末端位姿/关节动作

5.1 VLA 为什么比传统视觉策略更强？

因为它试图把三类知识连接起来：

视觉世界知识：这是什么物体；
语言语义知识：用户到底想做什么；
机器人经验：身体怎样移动才能完成任务。

5.2 VLA 的动作输出有三种主流路线

路线 A：离散动作 Token

代表：RT-2、早期 OpenVLA 类范式。

优点：

能复用语言模型 token 化框架；
训练形式统一。

缺点：

量化会损失连续控制精度；
高频控制会产生很长 token 序列。

路线 B：Diffusion / Flow Matching 连续动作生成

代表：Diffusion Policy、π₀、SmolVLA 中的 action expert 等。

核心思想：不是一个点一个点“回归动作”，而是生成一段平滑的动作块。

π₀ 使用 VLM + action expert，并通过 flow matching 生成连续动作。Physical Intelligence 官方介绍指出，其目标是支持高频、灵巧的机器人动作，而不是只输出离散文本 token。

官方资料：π₀: Our First Generalist Policy

路线 C：Action Chunking

一次输出未来 (H) 步动作：

[
A_t=[a_t,a_{t+1},…,a_{t+H-1}]
]

这样可以：

降低每一步都重新推理的延迟；
让动作更平滑；
学到局部运动模式。

ACT（Action Chunking Transformer）就是典型代表。

6. 从 RT-2 到 OpenVLA、Octo、π₀、SmolVLA：怎么理解这条发展线？

RT-2：证明“互联网语义可以迁移到机器人动作”

RT-2 的意义不是它今天仍然是最强，而是它清晰展示了：

Web 级视觉语言预训练知识，可以通过机器人动作数据迁移到控制策略中。

这推动了 VLA 成为一个明确研究范式。

Octo：强调开源、多机器人与灵活微调

Octo 是一个开源 generalist robot policy，基于多源机器人数据预训练，并强调：

多机器人；
多观测；
多动作空间；
语言或目标图像条件；
新机器人上的高效微调。

项目页：Octo

OpenVLA：把 7B 级开源 VLA 推向社区

OpenVLA 让研究者能够较低门槛研究大规模 VLA。

后续 OpenVLA-OFT 又说明：模型结构之外，动作解码、并行解码、action chunk、连续动作表示和微调策略同样决定实时性与成功率。

项目页：OpenVLA-OFT

π₀ / π₀.₅：从“能做”走向“开放世界泛化”

π₀ 使用流匹配连续动作头；π₀.₅ 更关注 open-world generalization：希望模型离开训练实验室，在新的家庭环境里完成长时序、移动操作任务。

π₀.₅ 论文：π₀.₅: a Vision-Language-Action Model with Open-World Generalization

SmolVLA：轻量化与可负担机器人学习

Hugging Face 在 2025 年发布的 SmolVLA 是一个 450M 级轻量 VLA，强调：

社区开源数据；
消费级硬件；
LeRobot 工作流；
异步推理；
流匹配动作专家。

官方博客：SmolVLA

2026：Gemini Robotics 2 与 GR00T 1.7

2026 年一个非常明显的趋势是：VLA 不再只围绕“单机械臂桌面抓取”，而是走向：

双臂；
人形；
whole-body control；
多机器人协作；
on-device；
embodied reasoning + VLA 分层。

Google DeepMind 在 2026-07-30 发布 Gemini Robotics 2，强调全身控制、灵巧操作和机器人协作；同时发布 Gemini Robotics ER 2，作为高层 embodied reasoning 模型。

官方资料：

NVIDIA 2026 年的 GR00T 1.7 则继续推动面向人形机器人的开源 VLA、数据、仿真与 TensorRT 部署链路。

官方教程：Develop Humanoid Robot Policies End-to-End with NVIDIA Isaac GR00T

7. RFM：Robot Foundation Model，不是某一种固定网络

RFM（Robot Foundation Model） 更像一个上位概念：

在大规模、多任务、多机器人、多场景数据上预训练，可迁移或微调到多种机器人任务的基础模型。

VLA 可以是 RFM 的一种实现，但不是所有 RFM 都必须是 VLA。

判断一个模型是否更像“foundation model”，可以看：

是否跨任务；
是否跨场景；
是否跨机器人 embodiment；
是否有大规模预训练；
是否能低成本适配新任务；
是否具备开放世界泛化。

2026 新问题：Embodiment Gap（本体差距）

2026 年的新综述提出了一个很实用的概念：Embodiment Gap。

即使模型“懂得很多”，换到一台新机器人上仍然会遇到：

关节数不同；
机械臂长度不同；
相机位置不同；
动作空间不同；
控制频率不同；
夹爪/灵巧手不同。

因此“跨本体泛化”不是一句“zero-shot”就能结束，它需要 action normalization、retargeting、adapter、correspondence learning、控制接口统一等工程与算法工作。

论文：The Embodiment Gap in Robot Foundation Models (2026)

第三部分：World Model、WAM 与“机器人先想象再行动”

8. World Model：如果执行这个动作，世界会发生什么？

世界模型（World Model）学习：

[
p(s_{t+1:t+H}\mid s_t, a_{t:t+H-1})
]

也就是：

给定当前状态和候选动作，预测未来状态。

8.1 为什么机器人需要世界模型？

直接策略：

看到场景 → 直接输出动作

世界模型：

看到场景 → 想象几个可能未来 → 判断哪个更好 → 再行动

它能用于：

Model-Based RL；
规划；
失败预判；
合成训练数据；
仿真代理；
未来视频预测；
反事实推演。

8.2 Pixel World Model 与 Latent World Model

像素级世界模型预测未来画面，直观但昂贵。

Latent World Model只预测隐空间特征，更高效，但不容易直接观察模型“想象了什么”。

2026 年综述已经把机器人世界模型按策略耦合、仿真器角色、视频世界模型等重新系统化。

9. WAM：World-Action Model，2026 年值得重点关注的新范式

World-Action Model（WAM） 是一个正在形成中的新术语，不应像 SLAM、MPC 那样当成几十年已固定定义的标准术语。

它的核心思想是：

联合建模“未来世界”和“机器人动作”，让动作生成显式依赖于物理未来预测。

9.1 DreamZero：WAM 的代表性工作

2026 年 DreamZero 提出：基于视频扩散世界模型，同时预测未来视频与动作，并将其作为 zero-shot robot policy。

这条路线试图解决 VLA 的一个核心问题：

VLA 很擅长语义泛化；
但对没有见过的“物理运动模式”未必稳健；
视频世界模型则天然包含大量运动与物理变化先验。

DreamZero 官方项目：DreamZero

论文：World Action Models are Zero-shot Policies

9.2 VLA 和 WAM 不是谁取代谁

可以这样理解：

范式	最擅长	主要风险
VLA	语义理解、指令泛化、直接动作	物理未来建模较隐式
World Model	未来预测、规划	不一定直接会控制机器人
WAM	未来与动作联合建模	模型大、实时性和训练复杂度高

未来更可能出现的是融合：

VLM/ER 负责理解 → World Model 负责想象 → Action Expert 负责执行

而不是简单地“VLA 被 WAM 淘汰”。

第四部分：机器人的空间智能——SLAM、VIO、LIO、3D Occupancy、NeRF、3DGS

10. SLAM：边走边定位，边定位边建图

SLAM 的基本问题：

没有完整地图时，机器人如何同时估计自己的轨迹并构建地图？

通常写成：

[
p(x_{1:t},m\mid z_{1:t},u_{1:t})
]

其中：

(x)：机器人轨迹；
(m)：地图；
(z)：传感器观测；
(u)：运动输入。

10.1 SLAM 里的核心术语

Front-end

负责：

特征提取；
数据关联；
帧间匹配；
里程计。

Back-end

负责：

图优化；
Bundle Adjustment；
Pose Graph Optimization；
全局一致性。

Loop Closure

机器人绕一圈回来，识别出“这是之前来过的地方”，用于消除累计漂移。

10.2 VIO 与 LIO

VIO（Visual-Inertial Odometry）：相机 + IMU。

适合轻量机器人、无人机，典型算法 VINS-Mono、ORB-SLAM3 的视觉惯性模式等。

LIO（LiDAR-Inertial Odometry）：LiDAR + IMU。

典型：LIO-SAM、FAST-LIO2。

优势：几何稳定、弱光可用；缺点是 LiDAR 更重、更贵。

10.3 为什么“定位”不等于“导航”？

定位只回答：

我在哪里？

导航还要回答：

我要去哪里？怎么过去？途中怎么躲障碍？

因此完整导航至少包含：

Localization + Mapping + Global Planning + Local Planning + Control

11. Occupancy：从“识别物体”转向“理解空间是否可通行”

3D Occupancy（3D 占据预测） 的目标不是先给每个物体画框，而是直接估计整个 3D 空间中：

哪些位置被占据；
哪些位置可自由通过；
某些位置属于什么语义类别。

对机器人和无人机来说，Occupancy 很自然，因为路径规划真正关心的是：

“这个空间我能不能穿过去？”

而不是：“这个障碍物的类别是椅子还是桌子？”

12. BEV：为什么自动驾驶和多机器人常用鸟瞰图？

BEV（Bird’s-Eye View）把多个相机或点云投影到统一俯视坐标。

它的优势是：

多相机数据容易统一；
距离、方向关系直观；
路径规划与地图天然是俯视坐标；
多机器人共享地图更方便。

但对无人机来说，仅 BEV 不够，因为飞行是 3D 的。高楼、电线、树冠、天花板等都要求保留高度。

13. NeRF 与 3D Gaussian Splatting：机器人为什么开始用神经场景表示？

NeRF

NeRF 学习一个连续场景函数，从位置与视角预测颜色和密度。

它非常适合：

新视角渲染；
场景重建；
视觉定位；
仿真资产生成。

3DGS

3D Gaussian Splatting 用大量 3D 高斯椭球表示场景，渲染通常比经典 NeRF 快。

对机器人更重要的方向包括：

语义 Gaussian；
动态 Gaussian；
可编辑场景；
从 3DGS 提取可碰撞几何；
3DGS 与 SLAM 结合。

关键提醒

“看起来很真实的 3D 重建”不代表“适合机器人规划”。

机器人规划需要：

几何尺度准确；
碰撞边界可信；
动态物体可更新；
查询速度足够快。

第五部分：导航——PointNav、ObjectNav、VLN、EQA 与 Active Perception

14. PointNav：给坐标，走过去

输入：目标坐标。

输出：移动动作。

这是最基础的 embodied navigation 任务之一。

15. ObjectNav：找“物体”，不是找坐标

指令：

“找到冰箱。”

机器人不知道冰箱在哪里，需要：

探索；
识别；
记忆访问区域；
决定下一处观察位置；
到达目标。

这里已经开始涉及语义地图、探索策略和主动感知。

16. VLN：Vision-Language Navigation

指令：

“穿过客厅，在沙发后右转，从第二扇门进入卧室。”

VLN 必须做语言和视觉空间对齐。

与普通路径规划区别：

目标不是明确坐标；
指令中可能包含地标、方向与顺序；
视觉观测与自然语言必须实时匹配。

常见数据集/环境包括 R2R、VLN-CE、Habitat 等。

Habitat 官方文档：Habitat Lab

17. EQA：Embodied Question Answering

普通 VQA：

给你一张图：“桌上有没有苹果？”

EQA：

“去厨房看看桌上有没有苹果，然后回来告诉我。”

所以 EQA = 探索 + 感知 + 记忆 + 问答。

这类任务非常能体现“具身”的本质：智能体必须主动改变自己的观察位置，才能获得答案。

18. Active Perception：主动感知是无人机具身智能的重要突破口

普通视觉感知假设相机固定地接收输入。

主动感知则问：

“我应该移动到哪里，才能看得更清楚？”

例如无人机巡检输电塔：

不是沿固定轨迹拍照；
而是发现某个绝缘子可能有缺陷后，自主调整距离、航向、俯仰角；
多角度观察后再确认。

2026 年 ActiveFly-Bench 就在把 Air-EQA、Observation Behavior Planning、Fine-grained Language-guided UAV Control 串起来，形成从“问题”到“移动观察”再到“回答/行动”的闭环。

项目页：ActiveFly-Bench

论文：ActiveFly-Bench (2026)

第六部分：机器人操作——从抓取到灵巧手、触觉和全身控制

19. FK、IK、Jacobian：机械臂的三个基础词

FK：Forward Kinematics，正运动学

已知关节角 (q)，求末端位姿：

[
T_{ee}=f(q)
]

IK：Inverse Kinematics，逆运动学

已知目标末端位姿 (T^*)，求关节角：

[
q^*=f{-1}(T^*)
]

Jacobian

描述关节速度和末端速度关系：

[
\dot{x}=J(q)\dot{q}
]

是速度控制、力控制、奇异性分析的基础。

20. Grasping：抓取远不是“检测框中心下抓”

抓取通常要考虑：

6D pose；
接触点；
摩擦锥；
夹爪宽度；
碰撞；
可达性；
抓取后任务目的。

同一个杯子：

要倒水：应该抓杯身；
要递给人：可能应抓把手之外的位置；
要放入狭窄架子：抓姿态又不同。

这就是 task-oriented grasping。

21. Force Control、Impedance、Admittance：接触任务离不开力

Position Control

“必须去这个位置”。

Force Control

“必须施加这个力”。

Impedance Control

让机器人表现得像一个虚拟弹簧—阻尼系统：

[
F=K(x_d-x)+D(\dot{x}_d-\dot{x})
]

适合：

插拔；
打磨；
开门；
人机接触；
不确定接触。

为什么 VLA 时代反而更需要力觉？

视觉看不到：

插头是否卡住；
物体是否滑动；
是否已经接触；
螺丝是否拧紧。

2026 年的 TouchWorld 等工作开始把触觉放进世界模型与分层策略，强调“慢语义 + 快触觉反馈”的组合。

论文：TouchWorld (2026)

22. Whole-Body Control 与 Loco-Manipulation

人形机器人不能只控制手。

例如“从地上捡一个重箱子”：

双脚保持支撑；
膝关节下蹲；
腰部前倾；
双手抓取；
重心保持在支撑多边形内；
起身时协调全身力矩。

这叫 whole-body control。

当“走路”和“操作”同时发生，称为 loco-manipulation（移动-操作一体化）。

2026 年 Gemini Robotics 2 和 GR00T 生态都在明显向这一方向推进。

第七部分：运动规划与控制——AI 不能替代的底座

23. A、D、RRT、RRT*、PRM 分别解决什么？

算法	类型	适合	不适合
A*	图搜索	2D/离散栅格	高维连续空间
D* Lite	增量图搜索	地图变化、重规划	高自由度操作
RRT	采样规划	高维连续空间	路径质量不稳定
RRT*	渐进最优	需要更优路径	快速实时响应
PRM	路线图	静态环境多次查询	高频动态环境

关键区别：Path vs Trajectory

Path：只描述空间几何路线。

Trajectory：包含时间：

[
\tau(t)=[x(t),v(t),a(t)]
]

无人机和机械臂真正执行的是 trajectory，不只是 path。

24. Trajectory Optimization：直接把路径当优化问题

典型形式：

[
\min_{x_{0:T},u_{0:T-1}} \sum_{t=0}^{T} c(x_t,u_t)
]

subject to：

[
x_{t+1}=f(x_t,u_t)
]

以及：

碰撞约束；
速度约束；
加速度约束；
关节范围；
动力学可行性。

常见思想包括 CHOMP、TrajOpt、iLQR、DDP、MPC 等。

25. PID、LQR、MPC：底层控制为什么仍然重要？

PID

最经典反馈：

[
u=K_pe+K_i\int e dt+K_d\dot e
]

优点：简单、成熟、工程可靠。

LQR

在线性模型附近优化状态误差与控制代价。

MPC

每个控制周期都求一个有限时间窗的优化问题，只执行第一步，然后重新规划：

测状态 → 预测未来 → 优化控制 → 执行一步 → 再测状态

这非常适合无人机：

强约束；
高动态；
要考虑速度/姿态/推力限制。

NMPC

直接用非线性动力学模型做 MPC，性能更强但计算更贵。

26. CBF：Control Barrier Function，安全控制越来越重要

CBF 的思想是定义一个“安全集合”：

[
\mathcal{C}={x:h(x)\ge 0}
]

然后约束控制器不让系统离开安全集合。

对于学习策略，常见架构可以是：

VLA / RL Policy → Safety Filter / CBF → Low-level Controller

这比“相信大模型不会撞”可靠得多。

第八部分：模仿学习、强化学习、Diffusion Policy 与 Flow Matching

27. BC：Behavior Cloning，最简单也最实用的起点

数据：

[
D={(o_t,a_t)}
]

训练：

[
\min_\theta \mathbb{E}{(o,a)\sim D}[\ell(\pi\theta(o),a)]
]

你给机器人 100 次“抓杯子”的示范，它学着模仿。

最大问题：Covariate Shift

训练时看到的是专家状态；部署后一个小误差会让机器人进入训练集中没见过的状态，误差越滚越大。

28. DAgger：让模型学会“从自己犯错的状态恢复”

流程：

训练策略 → 让策略自己跑 → 专家纠正 → 把纠正加入数据 → 再训练

它是早期解决 distribution shift 的经典方法。

2026 年 LeRobot 的工具链也在强化 human-in-the-loop rollout，把失败和人工纠正重新变成训练数据。

官方博客：LeRobot v0.6.0

29. RL：为什么机器人强化学习困难？

强化学习目标：

[
\max_\pi \mathbb{E}_\pi\left[\sum_t \gamma^t r_t\right]
]

真实机器人 RL 难在：

每一次试错都贵；
机器人会磨损；
错误动作可能危险；
奖励函数难设计；
实验速度远低于 GPU 仿真。

所以工业界和学界常见组合是：

模仿学习预训练 → 仿真 RL → 少量真机微调 / RL

30. Offline RL：只用已有数据学习更优策略

不与环境在线交互，使用固定数据集：

[
D={s,a,r,s’}
]

关键困难是 OOD action：策略可能选择数据集中从没出现过的动作，而价值函数对这些动作估计不可信。

31. Diffusion Policy：把机器人动作当生成问题

传统回归：

给观测，输出“唯一正确动作”。

但很多机器人任务存在多个可行解：

从左边绕过去；
从右边绕过去；
先抓 A 再抓 B；
先抓 B 再抓 A。

扩散模型可以表达多峰动作分布。

Diffusion Policy 的基本思想：

随机噪声动作序列 → 多步去噪 → 平滑可执行动作序列

这也是为什么它对灵巧操作很有吸引力。

32. Flow Matching：为什么 2025–2026 的 VLA 里越来越常见？

Flow Matching 学的是一个把简单分布连续运输到目标动作分布的向量场：

[
\frac{dx}{dt}=v_\theta(x,t,c)
]

其中 (c) 是视觉、语言和机器人状态条件。

与传统 diffusion 的关系很近，但训练/采样形式可以更直接。

π₀、SmolVLA 等都使用了流式连续动作生成思想。

入门者不必一开始推导全部数学，只要先理解：

它们的目标都是在“多模态条件”下生成一段连续、平滑、可能具有多解的动作轨迹，而不是做单点 MSE 回归。

第九部分：数据——真正限制具身智能规模化的瓶颈

33. 为什么机器人没有自己的“互联网数据”？

LLM 可以从网页拿到海量文字。

机器人动作数据必须真实发生：

机器人 + 场地 + 物体 + 相机 + 操作员 + 时间 + 标定 + 安全

这就是为什么机器人数据比文本贵几个数量级。

数据至少包含什么？

多视角 RGB / Depth；
机器人 proprioception；
动作；
时间戳；
语言指令；
任务成功/失败；
可选力觉/触觉；
相机标定；
机器人本体参数。

34. Open X-Embodiment：统一多机器人数据格式

Open X-Embodiment 的意义不是“某一个超大单一数据集”，而是把多个机构、多种机器人数据放到统一格式中，推动跨 embodiment 训练。

官方仓库：Open X-Embodiment

35. DROID：把“in-the-wild”多场景数据做大

DROID 包含跨实验室、跨场景、跨任务的真实机械臂交互数据，强调真实环境变化。

项目页：DROID

36. AgiBot World / AGIBOT WORLD 2026：从大规模示范走向丰富交互与 RL

AgiBot World 在 2024–2026 持续扩展真实机器人数据规模。

2026 新数据特别值得关注的是：

真实环境；
多模态；
自由采集；
错误与纠正；
Rich Interaction；
力/力矩；
真机 RL 数据闭环。

官方站：AGIBOT WORLD 2026

这和 2026 VLA 数据综述里的观点一致：下一阶段瓶颈未必只是“更大的模型”，而是 data engine、表示对齐、长时序标注和评测协议。

37. 数据引擎（Data Engine）是什么？

一个成熟机器人团队不会只是“收一批数据，然后训练一次”。

真正的数据闭环：
在这里插入图片描述

未来具身智能的数据竞争，本质上是：

谁能低成本持续产生高信息密度的数据，并把失败自动转成下一轮训练资产。

第十部分：仿真、Sim2Real 与数字孪生

38. 为什么所有机器人新人都应该学仿真？

因为你不应该用真机调所有 bug。

仿真可以做：

控制器测试；
强化学习；
批量数据生成；
碰撞测试；
传感器模拟；
失败回放；
自动 benchmark。

39. 常见仿真平台怎么选？

平台	强项	适合
Gazebo / Gazebo Sim	ROS 生态	移动机器人、无人机、基础仿真
MuJoCo	刚体动力学、RL	机械臂、人形、控制
Isaac Sim	高保真 GPU 仿真、传感器、USD	工业机器人、合成数据、数字孪生
Isaac Lab	大规模并行 robot learning	RL / IL / humanoid
ManiSkill	操作学习基准	机械臂策略训练
RLBench	多任务操作	imitation / manipulation
Habitat	Embodied navigation	VLN、EQA、室内导航
AirSim	飞行与车辆视觉仿真	无人机感知、导航
Flightmare	高速无人机 RL / control	高机动飞行
RoboCasa	家庭/厨房操作	generalist manipulation

NVIDIA 2026 官方 Isaac Sim / Isaac Lab 文档已经明显向“物理 AI + 大规模训练 + robot policy pipeline”演进：

RoboCasa365 在 2026 年把任务数量、场景、真实/自动演示和 foundation model benchmark 继续做大。

官方文档：RoboCasa365

40. Sim2Real：为什么仿真里 99% 成功，真机可能 20%？

差异来自：

视觉纹理；
光照；
摩擦系数；
执行器延迟；
传感噪声；
相机外参；
物体质量；
接触模型；
空气动力学；
电机饱和。

常见 Sim2Real 技术

Domain Randomization

训练时随机：

光照；
纹理；
摩擦；
质量；
相机；
噪声。

让真实世界成为随机分布中的一个样本。

System Identification

用真机数据估计动力学参数，使仿真更像真实。

Residual Learning

经典模型负责大部分控制，网络只学仿真和现实之间的残差。

第十一部分：ROS 2、MoveIt 2、Nav2、PX4——把算法真正装进机器人

41. ROS 2：机器人系统的“软件总线”

ROS 2 不是操作系统内核，而是一套机器人中间件与工具生态。

核心概念：

Node；
Topic；
Service；
Action；
TF2；
DDS；
rosbag；
launch；
parameter。

机器人典型数据流：

camera_node → /image → detector_node → /detections
                                ↓
                         planner_node
                                ↓
                         controller_node

ROS 2 的一个关键工程思想

模型不应该把整台机器人代码写成一个 5000 行 Python 脚本。

应该拆为：

感知节点；
状态估计节点；
规划节点；
策略节点；
控制节点；
安全节点。

42. MoveIt 2：机械臂运动规划工程底座

MoveIt 2 负责：

机械臂规划；
碰撞检测；
IK；
planning scene；
trajectory execution。

官方文档：MoveIt 2

一个常见 VLA + MoveIt 架构：

VLA：我要抓哪个物体、目标抓取姿态是什么
                ↓
MoveIt：生成无碰撞可执行轨迹
                ↓
Controller：跟踪关节轨迹

这通常比“让 VLA 直接输出每个电机力矩”更容易工程落地。

43. Nav2：ROS 2 移动机器人导航框架

Nav2 常见组件：

localization；
global planner；
local controller；
costmap；
behavior tree；
recovery behavior。

如果你做服务机器人、AMR、室内配送，Nav2 是非常值得学的工程底座。

第十二部分：无人机——为什么它是具身智能里最难的一类载体之一？

44. 无人机不是“会飞的移动机器人”

无人机具有几个特殊性：

6 自由度运动；
没有静态稳定支撑面；
控制频率高；
视角变化快；
负载和算力受限；
失控的代价更高；
室外风场与 GNSS 环境复杂。

四旋翼状态常包括：

[
x=[p,v,R,\omega]
]

控制输入常是：

[
u=[T,\tau_x,\tau_y,\tau_z]
]

其中 (T) 是总推力，(\tau) 是三轴力矩。

45. PX4：飞控真正负责什么？

一个成熟无人机系统通常不是让 ROS 2 节点直接控制 PWM。

典型架构：
在这里插入图片描述

PX4 的 Offboard 模式允许外部系统提供位置、速度、加速度、姿态、角速度或推力/力矩 setpoint。

但是官方文档明确强调 Offboard 控制存在安全风险，必须有持续 heartbeat / proof-of-life 与 failsafe。

官方文档：PX4 Offboard Mode

46. 无人机常见坐标系坑：ENU、NED、FRD

这是新人最容易出错的地方之一。

ROS 常用：

ENU：East-North-Up。

PX4 常用：

NED：North-East-Down；
FRD：Front-Right-Down。

如果把 z 轴正方向搞反，可能出现：

你想让无人机上升 2 m，它却向下加速。

因此 ROS 2 ↔ PX4 开发必须显式处理 frame transform。

47. 无人机自主系统的完整技术栈

相机 / LiDAR / IMU / GNSS
        ↓
VIO / LIO / GNSS Fusion
        ↓
3D Map / Occupancy / ESDF
        ↓
目标检测 / 跟踪 / VLM语义理解
        ↓
任务规划 / Aerial VLN / VLA
        ↓
Global + Local Trajectory Planning
        ↓
MPC / Geometric Control
        ↓
PX4

如果论文只展示“输入图像→输出方向”，但没有讲：

控制频率；
延迟；
安全；
飞控接口；
真机扰动；

那它离“真实自主无人机”还有明显距离。

第十三部分：Aerial VLN、Aerial VLA 与 2026 无人机前沿

48. Aerial VLN：语言引导的空中导航

Aerial VLN 要求无人机把自然语言和航拍视觉对齐。

例如：

“沿着河道向北飞，在第二座桥后右转，降到红色屋顶附近。”

与室内 VLN 相比更难：

尺度更大；
视角更自由；
地标更远；
3D 高度更重要；
GNSS 有时可用、有时不可用；
动作连续；
环境动态。

2026 年专门的综述把 Aerial VLN 方法分为 seq2seq/attention、LLM/VLM end-to-end、hierarchical、multi-agent、dialog-based 等类别，并指出 7 个关键开放问题：

长时序 instruction grounding；
viewpoint robustness；
scalable spatial representation；
continuous 6-DoF execution；
onboard deployment；
benchmark standardization；
multi-UAV swarm navigation。

49. AutoFly：从“按详细路线飞”走向“只给粗目标，自主决定怎么飞”

AutoFly（ICLR 2026）提出一个端到端 UAV VLA：

RGB + Language → UAV velocity action

其值得关注的不是“又一个模型名字”，而是任务范式变化：

传统 VLN 往往给很详细的路线指令；AutoFly 更强调：

给粗粒度目标/方向，让无人机自己进行连续避障、规划和目标识别。

它使用 pseudo-depth encoder 通过 RGB 增强空间推理，并结合仿真与真实数据。

项目页：AutoFly

论文：AutoFly: Vision-Language-Action Model for UAV Autonomous Navigation in the Wild

50. “AerialVLA” 这个词应该怎么用？

它可以作为“面向无人机的 VLA”描述性类别，但目前不像 SLAM、VIO 那样具有完全统一的领域定义。

更规范的写法是：

“VLA for aerial robotics / UAV vision-language-action policy”

然后明确它到底输出：

waypoint；
velocity；
attitude；
body rate；
thrust；
gimbal command；
gripper / payload action。

只说“输出 6-DoF 动作”仍然不够，需要给动作空间和飞控接口。

51. 多无人机与 Swarm Intelligence

多无人机问题至少包括：

Formation Control

保持队形：三角形、编队、leader-follower。

Multi-Agent Path Finding / Collision Avoidance

多个 UAV 同时规划，不互撞。

Task Allocation

谁去检查 A 点？谁去跟踪目标？谁做通信中继？

Cooperative Perception

多机共享观测，得到比单机更完整的场景。

Decentralized Decision

没有中心服务器时，每架无人机只根据局部信息决策。

现代研究会把这些与：

MARL；
VLM；
language-based task allocation；
shared world model；
communication-efficient policy

结合。

但工程上要警惕：多智能体大模型并不自动解决网络丢包、时钟同步、通信带宽和碰撞安全。

第十四部分：多模态与触觉——机器人不应该只有“眼睛”

52. Proprioception：机器人自己的“身体感觉”

proprioception 通常包括：

关节角；
关节速度；
电机电流；
关节力矩；
底盘速度；
IMU；
gripper 状态。

VLA 如果只有图像，没有 proprioception，会更难知道：

“我的手现在到底伸到哪里了？”

53. Tactile：视觉解决不了的最后一厘米

触觉对以下任务尤其重要：

插销；
USB / 网线插拔；
旋拧；
抓柔性物体；
折叠；
处理透明/反光物体；
判断滑移。

一个很可能长期存在的架构是：

慢循环：VLM / VLA 做任务和动作 chunk
快循环：触觉 / 力觉做 residual correction

这比让一个巨型模型同时以 1000 Hz 理解语义和力反馈更合理。

54. Audio-Visual：声音在机器人里有什么用？

声音并不是主流机器人控制模态，但在某些任务很有价值：

搜救中定位呼救者；
机器故障声检测；
人机语音交互；
声源导航；
无人机定位特定声音事件。

因此 AV（Audio-Visual）属于多模态感知，而不应自动等同于动作模型。

第十五部分：推理、规划、记忆与 Agent 化

55. CoT、ToT、ReAct 在机器人里怎么用？

CoT

把复杂任务拆成中间逻辑步骤。

ToT

探索多条候选方案，例如不同抓取顺序、不同路线。

ReAct

形成：

Reason → Act → Observe → Reason → Act

这与具身闭环天然契合。

但要注意：

这些是 推理/交互范式，不是机器人控制算法。

你不能把 ReAct 替代 MPC。

56. Hierarchical Agent：长任务为什么通常要分层？

“收拾完整厨房”可能持续 10–20 分钟甚至更久。

如果让单个 end-to-end policy 从第一帧一直直接生成所有动作，很容易：

忘记任务；
状态累积误差；
失败后不知道如何恢复；
难以调试。

分层方案：
在这里插入图片描述

2026 Gemini Robotics ER 2 就明确采用“高层 embodied reasoning + 下层 VLA 执行”的思路。

57. Memory：没有长期记忆，机器人就会“边走边忘”

机器人记忆可以分：

短期时序记忆：过去几秒图像与动作；
空间记忆：地图、物体位置；
情景记忆：刚才做过什么；
语义记忆：物体与任务知识；
技能记忆：可调用的行为库。

对于大场景巡检和长时序家务，memory 很可能和模型本身一样重要。

第十六部分：实时部署——论文里最容易被忽略的部分

58. Latency：机器人不是离线 benchmark

假设 VLA 推理一次 600 ms：

桌面慢抓取可能还能工作；
高速无人机避障基本不够。

机器人要区分：

perception rate；
policy rate；
control rate。

例如：

VLM reasoning: 1–5 Hz
VLA action chunk: 5–20 Hz
MPC: 50–200 Hz
attitude controller: 200–1000 Hz

具体数字因平台而异，但多时间尺度架构是核心思想。

59. Asynchronous Inference：模型可以慢一点，执行不能停

SmolVLA 和多个 2026 系统都在强调异步推理：

线程 A：继续执行当前 action chunk
线程 B：并行处理最新图像并生成下一个 action chunk

这样模型推理不会让机器人“每次等大脑想完才动”。

60. Quantization / TensorRT / ONNX：模型怎样放进边缘计算？

真实部署常见：

FP16 / BF16；
INT8 / INT4 量化；
TensorRT；
ONNX；
KV Cache；
FlashAttention；
多进程流水线；
远端服务器 + 本地安全控制。

AutoFly 的公开部署说明就涉及 ONNX、TensorRT、多进程并行推理与局域网通信。

但无人机依赖远端服务器存在一个问题：

网络延迟或断联时怎么办？

所以高风险平台必须设计 local fallback。

第十七部分：评测——“成功率高”并不代表模型真的强

61. 机器人策略常见指标

Success Rate

任务成功次数 / 总次数。

SPL

导航中同时衡量成功率与路径效率。

Collision Rate

碰撞率。

Path Length / Time

路径长度、任务耗时。

Intervention Rate

需要人工干预多少次。

Recovery Rate

扰动后能否恢复。

Generalization

至少区分：

新物体；
新背景；
新房间；
新任务组合；
新机器人；
新动作模式。

Long-Horizon Completion

不是只成功“抓一下”，而是 10–20 分钟任务是否完整结束。

62. 为什么 benchmark 很容易“看起来很强”？

常见问题：

训练和测试背景非常像；
物体只有位置变化；
成功定义太宽松；
不统计失败恢复；
没有真实机器人；
只测短时单技能；
不报告动作频率和延迟。

2026 RoboCasa365 的 leaderboard 已经开始更强调 atomic / composite / unseen 任务拆分，这比单一平均成功率更有信息量。

第十八部分：三个完整实例——把所有术语真正串起来

63. 实例一：服务机器人“去厨房拿一瓶水给我”

Step 1：理解指令

VLM/LLM：

目标对象：瓶装水；
起点：当前房间；
目标地点：厨房；
最后交付给用户。

Step 2：导航

SLAM / Localization；
ObjectNav / semantic map；
Nav2 global/local planner；
动态避障。

Step 3：找到瓶子

VLM/open-vocabulary detection；
depth；
6D pose / affordance。

Step 4：抓取

VLA 或 grasp policy 选择抓取方式；
MoveIt 2 规划机械臂轨迹；
impedance control 完成接触。

Step 5：异常恢复

瓶子滑落：

tactile / vision 检测失败；
replan；
再抓。

Step 6：返回并递交

重新定位用户；
保持安全人机距离；
递交。

你会发现：没有任何一个“超级模型”单独完成了全部系统工作。

64. 实例二：无人机“巡检输电塔绝缘子并自动补拍疑似缺陷”

感知

RGB / zoom camera；
detector / segmenter；
defect VLM；
depth / geometry。

定位

GNSS/RTK + IMU；
近塔区可加 VIO / LiDAR。

主动感知

发现疑似裂纹后：

计算当前视角是否充分；
规划新的观察位姿；
调整 yaw / altitude / distance；
云台 zoom；
再次识别。

轨迹规划

ESDF / local map；
dynamic obstacle avoidance；
trajectory optimization。

控制

ROS 2 输出 velocity / position setpoint；
PX4 完成姿态和电机闭环；
网络失效时进入 hover / RTL failsafe。

这就是 Aerial Embodied AI 真正应该研究的“闭环”，而不是只做航拍图像分类。

65. 实例三：人形机器人“整理桌面并把垃圾扔掉”

高层：Gemini Robotics ER / LLM planner 类模块判断：

区分餐具与垃圾；
先移动障碍物；
收餐具；
丢垃圾。

中层：VLA / foundation policy 决定：

双臂如何协作；
抓哪一个边缘；
先放哪里。

低层：whole-body controller：

保持平衡；
步态；
双臂关节；
末端力。

触觉：

判断是否抓稳；
防止盘子滑落。

世界模型：

预测倾倒垃圾时物体运动；
评估动作风险。

第十九部分：2026 年最值得跟踪的 10 个前沿方向

66. 方向 1：Embodied Reasoning 与 VLA 分层

趋势：

高层模型负责空间/物理/任务推理，下层动作模型负责快速执行。

理由：一个模型同时做 128k 上下文推理和 100 Hz 精细控制并不经济。

代表：Gemini Robotics ER 2 + Gemini Robotics 2。

67. 方向 2：World-Action Model

从“直接输出动作”走向“想象未来 + 动作联合生成”。

代表：DreamZero。

核心问题：

世界预测到底是否真正提升控制？
视频模型如何保持物理一致性？
14B 级模型如何实时？

68. 方向 3：Cross-Embodiment / Embodiment Gap

目标：

一个模型快速适配机械臂、双臂、人形、移动操作器甚至不同夹爪。

难点不是语义，而是控制接口与身体结构差异。

69. 方向 4：On-Device VLA

机器人不可能永远依赖云端。

价值：

低延迟；
隐私；
断网可用；
安全闭环。

代表方向：Gemini Robotics On-Device 2、SmolVLA、量化与边缘部署。

70. 方向 5：Tactile Foundation Models

纯视觉不够解决接触物理。

重点：

视觉+触觉；
触觉世界模型；
高频 residual policy；
灵巧手。

71. 方向 6：Data Engine 与真实世界自我改进

从“人工演示数据集”走向：

部署 → 失败 → 人工纠正 → 自动标注 → 再训练

LeRobot、AGIBOT WORLD 2026 等都在朝这个方向明显发展。另一个值得跟踪的信号是 LingBot-VLA 2.0：它把约 60,000 小时异构数据、20 种机器人配置、whole-body 动作空间与预测动力学目标放在同一系统中，说明 VLA 的竞争正在从“模型结构”迅速转向 数据规模 × 本体覆盖 × 动作接口 × 未来预测 × 工程部署 的系统竞争。

72. 方向 7：长时序与 Continual / Lifelong Learning

机器人不能每学新技能就忘记旧技能。

关键问题：

catastrophic forgetting；
skill composition；
memory；
continual post-training；
online adaptation。

73. 方向 8：Active Embodied Perception

智能体不再被动“看”，而是为了完成任务主动选择观察位置。

无人机尤其适合：

搜救；
目标重识别；
复杂设施巡检；
3D 重建。

74. 方向 9：Multi-Robot Foundation Model / Collaboration

未来不是“一台机器人全能”，而可能是：

轮式机器人搬运；
无人机先侦察；
人形做复杂操作；
多机器人共享地图和任务。

需要解决：

communication；
task allocation；
shared memory；
collision avoidance；
heterogeneous embodiment。

75. 方向 10：Safety、Verification 与 Evaluation

机器人基础模型越强，越需要：

safety policy；
control barrier；
uncertainty；
adversarial testing；
failure taxonomy；
hardware-in-the-loop；
standardized benchmark。

“成功率 90%”对于聊天模型可能很好，但对于每天执行 1000 次动作的机器人意味着 100 次失败，完全不能接受。

第二十部分：原始术语表里哪些说法需要校正？

原始材料已经覆盖了 LLM、VLM、VLA、Aerial VLN、World Model、SLAM、控制、RL、仿真等核心骨架，是很好的速查起点；例如它把 VLA 的输入输出和 AerialVLA 的无人机动作场景分开列出，这个方向是对的。但要用于正式博客，必须进一步区分“标准术语”和“描述性新词”。

76. 建议保留为标准/高频术语

LLM / VLM / MLLM；
VQA / VLN / VLA；
SLAM / VIO / LIO；
BEV / Occupancy / TSDF / ESDF；
NeRF / 3DGS；
MPC / NMPC / LQR；
BC / IL / DAgger / RL / Offline RL；
Diffusion Policy；
RFM；
World Model；
EQA；
CLIP / DINOv2 / SAM。

77. 建议标记为“新兴/描述性/未统一标准”

WAM

2026 已有代表性论文和 NVIDIA 等官方解释，但仍是新兴术语。

AerialVLA

可用作类别名，但不同论文的 action space 差别极大，必须说明具体输出。

VA / AL / VLX

可以用于解释，但并不是像 VLA、SLAM 那样边界清晰、全领域统一的标准缩写。正式写作时应给出上下文或直接写全称描述。

AVIN / AVDN

如果指特定论文或数据集，应以原论文命名为准，不建议把它们当作全领域固定分类。

某些“经典代表”名称

正式博客不应该因为名字听起来合理就列为 canonical model。最好只列可追溯到论文、官方项目或公开 benchmark 的模型。

本博客因此优先保留了可以公开核验的 AutoFly、ActiveFly-Bench、DreamZero、RT-2、Octo、OpenVLA、π₀/π₀.₅、SmolVLA、Gemini Robotics 2、GR00T 等。

第二十一部分：入门者最容易混淆的 15 个问题

78. VLM 和 VLA 的本质区别是什么？

VLM 的训练目标主要是“理解/生成语义”；VLA 明确把机器人动作纳入输出空间。

79. VLA 是不是直接控制电机？

不一定。

它可能输出：

skill；
waypoint；
end-effector delta；
joint action；
velocity；
action chunk。

一定要看论文动作空间。

80. World Model 是不是等于数字孪生？

不是。

World Model 是“学出来的未来预测模型”；
Digital Twin 是真实系统的数字化镜像/仿真环境，可能依赖物理建模、CAD、实时数据等。

它们可以结合。

81. SLAM 是不是深度学习？

不是。

SLAM 是问题范式；可以完全用几何优化，也可以加入深度学习模块。

82. 3DGS 能不能直接代替 SLAM？

不能简单等价。

3DGS 是场景表示/渲染方法；SLAM 还必须做在线位姿估计和地图更新。

83. VIO 和 SLAM 有什么区别？

VIO 重点是局部里程计；完整 SLAM 通常还有回环与全局地图优化。

84. MPC 是规划还是控制？

两者边界相交。

MPC 每次在线优化未来轨迹/控制，通常归入最优控制，也兼具局部规划特征。

85. BC 和 IL 有什么关系？

BC 是 IL 的一个最经典子类。

86. Diffusion Policy 是 VLA 吗？

不必然。

Diffusion Policy 是动作分布生成方法；如果再加视觉+语言输入并形成通用策略，可以成为 VLA 的动作头/策略形式。

87. RFM 和 VLA 是同义词吗？

不是。

RFM 是更上位的“机器人基础模型”概念；VLA 是一种非常重要的实现范式。

88. ROS 2 是控制器吗？

不是。

ROS 2 是通信、工具和软件框架。PID、MPC、VLA 等算法可以运行在 ROS 2 节点中。

89. PX4 和 ROS 2 谁控制无人机？

通常：

PX4 负责飞行栈和高频底层闭环；
ROS 2 companion computer 负责更高级感知、规划、AI 与 setpoint。

90. 无人机有 VLA 还需要 SLAM 吗？

大多数现实任务仍需要可靠定位/状态估计。

端到端策略可以弱化显式地图，但安全工程通常仍保留状态估计和 fallback。

91. 大模型越大机器人就越强吗？

不是。

机器人性能还受：

数据；
action representation；
latency；
control frequency；
embodiment；
sensor calibration；
safety；
physical interaction quality。

SmolVLA、OpenVLA-OFT 等工作都说明“更聪明的系统设计”可能比简单堆参数更关键。

92. 仿真成功能不能证明真机成功？

不能。

仿真是必要但不充分条件。

第二十二部分：如果你是入门者，建议这样学

93. 12 周学习路线

第 1–2 周：机器人基础

学：

坐标系；
rotation matrix / quaternion；
FK / IK；
PID；
basic dynamics。

做：

Python 写一个 2D 两连杆 FK/IK；
在仿真中控制移动机器人走正方形。

第 3–4 周：ROS 2

学：

node / topic / service / action；
TF2；
rosbag；
launch。

做：

相机节点 → 检测节点 → 控制节点。

第 5–6 周：感知与 SLAM

学：

object detection；
depth；
VIO / SLAM；
occupancy map。

做：

ORB-SLAM3 / RTAB-Map / FAST-LIO 中任选一个跑通。

第 7–8 周：规划与控制

学：

A*；
RRT*；
trajectory；
MPC。

做：

障碍环境路径规划；
跟踪一条轨迹。

第 9–10 周：Robot Learning

学：

BC；
ACT；
Diffusion Policy；
LeRobot。

做：

用仿真或低成本机械臂采几十条示范；
训练一个 imitation policy。

第 11 周：VLM / VLA

学：

CLIP / SigLIP；
action token；
action chunk；
flow matching。

做：

跑 SmolVLA / LeRobot 示例；
理解 OpenVLA 推理流程。

第 12 周：完整系统

机械臂方向：

语言指令 → 视觉识别 → VLA/抓取策略 → MoveIt → 真/仿真执行。

无人机方向：

相机 → 目标检测 → VIO → 局部规划 → ROS 2 → PX4 Offboard → 仿真飞行。

第二十三部分：推荐学习资源

94. 机器人软件与仿真

ROS 2 官方文档：https://docs.ros.org/
MoveIt 2：https://moveit.picknik.ai/
PX4：https://docs.px4.io/
NVIDIA Isaac Sim：https://developer.nvidia.com/isaac/sim/
NVIDIA Isaac Lab：https://developer.nvidia.com/isaac/lab
Habitat：https://aihabitat.org/
LeRobot：https://huggingface.co/docs/lerobot/
RoboCasa：https://robocasa.ai/

95. VLA / Robot Foundation Model 项目

RT-2：https://deepmind.google/blog/rt-2-new-model-translates-vision-and-language-into-action/
Octo：https://octo-models.github.io/
OpenVLA：https://openvla.github.io/
OpenVLA-OFT：https://openvla-oft.github.io/
Physical Intelligence π₀：https://www.physicalintelligence.company/blog/pi0
SmolVLA：https://huggingface.co/blog/smolvla
NVIDIA GR00T：https://developer.nvidia.com/isaac/groot
Gemini Robotics：https://deepmind.google/models/gemini-robotics/
DreamZero：https://dreamzero0.github.io/

96. 无人机具身智能

AutoFly：https://xiaolousun.github.io/AutoFly/
ActiveFly-Bench：https://lvmolvmo.github.io/ActiveFly/
PX4 ROS 2 Offboard：https://docs.px4.io/main/en/ros2/offboard_control
AirSim：https://microsoft.github.io/AirSim/

第二十四部分：论文阅读建议——不要再只看模型框图

97. 看一篇机器人论文，按这个清单问

任务

任务到底是什么？
单步还是长时序？
静态还是动态？

输入

RGB？Depth？LiDAR？语言？触觉？proprioception？
历史帧多长？

输出

action 的物理意义是什么？
控制频率是多少？
action chunk 多长？

数据

多少小时？多少 episode？
多少场景？
是否跨机器人？
是否含失败？

部署

真机还是仿真？
推理延迟？
GPU 在哪里？
是否远端服务器？

评测

seen / unseen 怎么定义？
成功率统计多少次？
是否报告方差？
是否有人工干预？

安全

碰撞怎么办？
策略异常怎么办？
网络断开怎么办？
有没有硬件急停/failsafe？

如果论文没有回答这些问题，不要因为“7B”“foundation”“world model”几个词就认为它已经接近通用机器人。

结语：真正的具身智能不是某一个模型，而是一条闭环

到 2026 年，具身智能已经从“LLM 给机器人做规划”快速发展到 VLA、机器人基础模型、世界模型、WAM、全身控制、触觉、多机器人与主动感知。

但最重要的逻辑一直没有改变：

Sense → Estimate → Understand → Predict → Plan → Act → Verify → Learn

真正能落地的机器人，不会只靠某一个模型名字。

它需要：

感知：看见真实世界；
状态估计：知道自己在哪里；
空间智能：理解 3D 关系；
推理：知道任务意味着什么；
世界模型：知道动作可能造成什么后果；
策略：产生合理动作；
规划与控制：让动作可执行；
安全层：避免模型错误变成物理事故；
数据闭环：从失败中不断学习。

如果你从这篇文章入门，最值得形成的能力不是“能背 100 个缩写”，而是看到一个新名词时能够问：

它位于闭环的哪一层？输入是什么？输出是什么？它替代了什么？它没有解决什么？最后谁把动作安全地执行到真实机器人上？

这五个问题，比记住任何一个热门模型名字都更重要。

附：2026 前沿快速索引

方向	2026 值得看的代表
Robot World Model	World Model for Robot Learning: A Comprehensive Survey
World-Action Model	DreamZero
Embodied Reasoning	Gemini Robotics ER 2
Whole-body VLA	Gemini Robotics 2 / GR00T 1.7
On-device VLA	Gemini Robotics On-Device 2 / SmolVLA
Data-centric VLA	2026 VLA Datasets, Benchmarks and Data Engines Survey
Embodiment Transfer	The Embodiment Gap in Robot Foundation Models
Tactile	TouchWorld
Aerial VLN	2026 Aerial VLN Survey
UAV VLA	AutoFly
Aerial Active Perception	ActiveFly-Bench
Simulation	RoboCasa365 / Isaac Lab
Open robot-learning stack	LeRobot v0.6.x

DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

具身智能系统中的TVA与World模型内在逻辑关联（综述）

DAMO开发者矩阵

具身智能系统中的TVA与World协同框架构建研究

DAMO开发者矩阵

具身智能系统中的World物理推演与因果推理研究

DAMO开发者矩阵

所有评论(0)

查看更多评论

申零

@weixin_43890382

已为社区贡献3条内容

具身智能・机器人・无人机：从零开始理解“能看、能想、能动”的智能体——2026 完整入门与前沿指南

申零

具身智能・机器人・无人机：从零开始理解“能看、能想、能动”的智能体——2026 完整入门与前沿指南

0. 先别背术语：具身智能到底在解决什么？

0.1 一个真实机器人闭环长什么样？

0.2 三类常见“具身载体”

第一部分：先建立完整技术地图

1. 具身智能技术栈：从“眼睛”到“肌肉”

1.1 感知层：机器人如何知道“世界里有什么”？

1.2 状态估计与空间表示：机器人必须知道“我在哪、它在哪”

1.3 决策层：机器人如何决定“下一步做什么”？

1.4 执行层：模型输出最终怎么变成电机动作？

第二部分：LLM、VLM、VLA、RFM、World Model 到底有什么区别？

2. 一张图理解多模态具身模型家族

3. LLM：语言大脑，但不是机器人本体

LLM 在机器人里最适合做什么？

不适合直接做什么？

4. VLM / MLLM：让模型“看懂”世界

一个容易犯的错误

5. VLA：目前机器人基础模型最核心的范式之一

5.1 VLA 为什么比传统视觉策略更强？

5.2 VLA 的动作输出有三种主流路线

路线 A：离散动作 Token

路线 B：Diffusion / Flow Matching 连续动作生成

路线 C：Action Chunking

6. 从 RT-2 到 OpenVLA、Octo、π₀、SmolVLA：怎么理解这条发展线？

RT-2：证明“互联网语义可以迁移到机器人动作”

Octo：强调开源、多机器人与灵活微调

OpenVLA：把 7B 级开源 VLA 推向社区

π₀ / π₀.₅：从“能做”走向“开放世界泛化”

SmolVLA：轻量化与可负担机器人学习

2026：Gemini Robotics 2 与 GR00T 1.7

7. RFM：Robot Foundation Model，不是某一种固定网络

2026 新问题：Embodiment Gap（本体差距）

第三部分：World Model、WAM 与“机器人先想象再行动”

8. World Model：如果执行这个动作，世界会发生什么？

8.1 为什么机器人需要世界模型？

8.2 Pixel World Model 与 Latent World Model

9. WAM：World-Action Model，2026 年值得重点关注的新范式

9.1 DreamZero：WAM 的代表性工作

9.2 VLA 和 WAM 不是谁取代谁

第四部分：机器人的空间智能——SLAM、VIO、LIO、3D Occupancy、NeRF、3DGS

10. SLAM：边走边定位，边定位边建图

10.1 SLAM 里的核心术语

Front-end

Back-end

Loop Closure

10.2 VIO 与 LIO

10.3 为什么“定位”不等于“导航”？

11. Occupancy：从“识别物体”转向“理解空间是否可通行”

12. BEV：为什么自动驾驶和多机器人常用鸟瞰图？

13. NeRF 与 3D Gaussian Splatting：机器人为什么开始用神经场景表示？

NeRF

3DGS

关键提醒

第五部分：导航——PointNav、ObjectNav、VLN、EQA 与 Active Perception

14. PointNav：给坐标，走过去

15. ObjectNav：找“物体”，不是找坐标

16. VLN：Vision-Language Navigation

17. EQA：Embodied Question Answering

18. Active Perception：主动感知是无人机具身智能的重要突破口

第六部分：机器人操作——从抓取到灵巧手、触觉和全身控制

19. FK、IK、Jacobian：机械臂的三个基础词

FK：Forward Kinematics，正运动学

IK：Inverse Kinematics，逆运动学

Jacobian

20. Grasping：抓取远不是“检测框中心下抓”

21. Force Control、Impedance、Admittance：接触任务离不开力

Position Control

Force Control

Impedance Control

为什么 VLA 时代反而更需要力觉？

22. Whole-Body Control 与 Loco-Manipulation

第七部分：运动规划与控制——AI 不能替代的底座

23. A*、D*、RRT、RRT*、PRM 分别解决什么？

关键区别：Path vs Trajectory

24. Trajectory Optimization：直接把路径当优化问题

25. PID、LQR、MPC：底层控制为什么仍然重要？

PID

LQR

23. A、D、RRT、RRT*、PRM 分别解决什么？