一. VLA

在具身智能（Embodied AI）迎来“ChatGPT时刻”的进程中，**VLA（Vision-Language-Action，视觉-语言-动作）模型**无疑是当前最前沿、最核心的明星技术。

如果说 VLN（视觉-语言导航）是让机器人学会“走”，场景理解是让机器人学会“看”，那么 **VLA 则是将“看、听、想、做”完全融为一体的终极大脑**。它直接打破了传统机器人分模块设计的壁垒，实现了端到端的控制。

1. 什么是 VLA 模型？

传统机器人的控制系统像一个拼凑的流水线：视觉模块负责看，文本模块负责听，规划模块负责想，控制模块负责动。中间信息传递一旦出错，整个系统就会崩溃。

而 **VLA 是一种通用的端到端（End-to-End）多模态大模型**。它的核心思想是：**将机器人的动作（Action）也变成一种“语言”。**

* **输入（Inputs）：** 当前的视觉画面（RGB 图像/视频） + 人类的自然语言指令（文本）。

* **输出（Outputs）：** 机器人的具体控制动作（如机械臂的 7 维关节运动参数、底盘速度）。

在 VLA 模型中，动作被离散化为特殊的“Token”（就像文本中的词汇一样）。大模型通过预测下一个 Token 的方式，既能预测接下来的文本（回答问题），也能直接预测接下来的动作（控制机器人）。

2. VLA 的典型代表：从 RT-2 到 OpenVLA

要理解 VLA，我们可以看看近几年最具代表性的突破：

(1) Google RT-2 (Robotics Transformer 2)

RT-2 是 VLA 领域的里程碑式作品。谷歌将通用的视觉-语言大模型（VLM，如 PaLM-E）直接扩展到了机器人领域。

* **协同效应（Co-tokenization）：** 谷歌将机械臂的物理动作（如 X, Y, Z 轴位移、旋转、夹爪开合）转换成文本 Token。这样，训练大模型时，它既在阅读互联网上的海量知识，也在学习如何控制机器人。

* **惊人的泛化能力：** RT-2 表现出了极强的“常识推理”能力。比如，环境中有一堆杂物，你对它说：“把属于恐龙的玩具拿给我。”即使训练数据里没有这个动作，RT-2 也能凭借互联网上关于“恐龙”的知识，精准识别并抓起恐龙玩具。

(2) OpenVLA 等开源力量

随着技术演进，学术界和开源社区（如 Stanford 等机构联合推出的 OpenVLA）将这一技术推向普及。OpenVLA 基于开源的 Prismatic VLM 构建，不仅能直接输出 7-DoF 的机械臂动作，还能让开发者针对特定机器人底盘进行微调（Fine-tuning），极大地降低了具身智能大模型的门槛。

3. VLA 模型的内部工作原理

架构上，VLA 模型通常由三个核心部分组成：

(1) **视觉编码器（Visual Encoder）：

** 如 ViT（Vision Transformer）或 SigLIP。它负责把摄像头捕捉到的高分辨率物理世界画面，切成一个个“图像块”（Patches），转化为特征向量。

(2) **文本结构化（Text Embedding）：

** 将人类的指令（如“把可乐倒进杯子里”）转化为语言向量。

(3) **多模态大模型主干（LLM/VLM Backbone）：

** 图像和文本向量融合后，一起输入到强大的Transformer 骨干网络中。

(4) **动作解码（Action Tokenization）：

** 模型在输出端不仅能输出字符，还能输出连续的动作空间。例如，一个 7 维的动作可以被表示为

这些数值会被映射到特定的 Token ID。模型预测出这些 Token 后，由机器人底盘的低阶控制器（Controller）直接翻译成电机的电流和扭矩，驱动机械臂移动。

4. VLA 的核心优势

为什么整个具身智能行业都在疯狂涌向 VLA？

* **强大的语义与常识泛化：** 传统机器人不懂“什么东西容易碎，抓的时候要轻点”。而 VLA 继承了大语言模型的人类社会常识，能够理解“把蛋壳敲碎”和“把鸡蛋放进篮子”两个动作在力道上的本质区别。

* **零样本转换（Zero-shot Transfer）：** VLA 允许机器人在面对从没见过的物体、从未听过的抽象指令时，依然能做出相对合理的动作尝试。

* **统一的框架：** 导航、抓取、擦桌子、归类物品，过去需要几十个不同的 AI 模型联合调校；现在，**同一个 VLA 模型，换一句不同的提示词（Prompt），就能切换不同的技能。**

5. 依然存在的瓶颈

虽然 VLA 描绘的未来非常美好，但目前它距离在工厂、家庭中大规模落地，还有几个难以绕开的痛点：

* **控制频率低（推理延迟大）：** 传统机器人控制（如避障、保持平衡）需要几百甚至上千赫兹（Hz）的刷新率。而大模型太重了，预测一个动作可能需要几十毫秒甚至上百毫秒，输出频率通常只有 5~20Hz。这导致机器人动作看起来“一卡一卡的”，难以应对高速动态环境。

* **数据荒（Data Scarcity）：** 互联网上有无穷无尽的图文数据来训练 GPT，但**高质量的机器人动作数据（带有视觉和文本对齐的真实操作轨迹）极其匮乏**。目前行业正通过仿真世界（Simulation）和遥操作（Teleoperation）疯狂“刷数据”。

* **幻觉与安全隐患：** 大模型会胡言乱语（幻觉），VLA 模型也会“胡作非为”。如果 VLA 突然输出一个错误的极端动作 Token，可能会导致机械臂撞毁或伤人。因此，VLA 之外通常还需要包裹一层传统的“安全护栏（Safety Guardrails）”算法。

目前，整个具身智能领域正在通过 **“大模型（VLA）做高阶慢决策 + 小模型（如 Diffusion Policy、MPC）做低阶快控制”** 的混合架构，来平衡 VLA 的高智能与传统控制的高稳定度。

二. WMA

在具身智能（Embodied AI）的技术前沿中，**WMA** 通常指代 **World Action Model**（世界动作模型，或也有团队称其为 *World-Model-Action Framework*）。

如果说上一代核心 **VLA（视觉-语言-动作）** 模型让机器人学会了“根据当前画面**直接条件反射**做出动作”，那么 **WMA 则被称为具身智能的“下一代超级大脑”**。它给机器人引入了**世界模型（World Model）**，让机器人学会了**在行动之前，先在脑海中“预判”未来的物理世界会如何变化**。

1. 为什么要从 VLA 演进到 WMA？（VLA 的软肋）

要理解 WMA，必须先看清传统 VLA 的局限性：

* **缺乏物理常识与盲目盲动：** 传统的 VLA 是一个反应式的“直觉系统”（像人类的系统 1 思考）。它看到一碗水和一句话，直接输出动作去端碗。它没有“如果我动作太快，水就会洒出来”的物理世界常识。

* **无法进行长程规划（Long-Horizon Planning）：** 因为 VLA 无法预测下一步执行后环境会变成什么样，它只能走一步看一步。一旦中间某一步搞砸了（例如瓶子滑落了），它很难在脑海里重新模拟补救方案。

而 **WMA（世界动作模型）的核心逻辑是：将“环境动力学预测”与“动作生成”统一到一个联合分布中。** 它不仅输出 Action，还输出对未来状态（Future States，通常是预测未来几秒的视频或 3D 点云）的估计。

2. WMA 的核心工作原理

WMA 的核心思想类似于人类的“深思熟虑”系统（系统 2）：在伸手拿杯子前，你的大脑已经预演了手伸过去的轨迹、杯子被拿起来的画面。

其核心循环可以总结为以下几步：

(1) **观察当前：

** 接收当前的视觉（图像/视频）和语言指令。

(2) **脑补未来（世界模型预测）：

** 结合当前可能采取的动作，预测环境接下来的变化。例如：如果执行“推杯子”，模型在内部隐空间（Latent Space）或通过生成扩散模型（Diffusion）预测出“杯子向前滑动”的未来画面。

(3) **物理常识对齐（Physical Commonsense）：

** 模型会评估这个“脑补的未来”是否符合物理定律、是否安全（例如杯子是否会掉下桌子）。

(4) **决策与执行：

** 在模拟的多条路线中，选择最优、最稳妥的一条动作序列（Action）输出给机械臂或底盘。

3. WMA 的主流架构分类

根据业界和学术界（如 2026 年初清华、复旦及各大机器人实验室发表的最新成果）的梳理，WMA 主要分为两大架构：

(1) 级联架构（Cascaded WMA）

* **做法：** “各司其职，串联工作”。通常包含一个独立的**视频/世界生成大模型**和一个**策略模型**。

* **流程：** 视频大模型负责根据指令生成机器人完成任务的“幻想视频路径” --> 机器人把这个生成的视频当做完美的“参考答案” --> 底盘策略模型通过视觉追踪（Visual Tracking）去模仿、对齐这个视频中的动作。

(2) 联合架构（Joint WMA）

* **做法：** “原生多模态，一体化训练”。将未来状态预测和动作预测塞进同一个大模型。

* **流程：** 模型的 Token 序列里既包含文字、图像，也包含动作 Token 和预测图像 Token（如 *iVideoGPT* 等模型的做法）。模型在预测“下一个动作”的同时，也在预测“下一个画面”，两者在底层特征上是高度融合、互相启发的。

4. WMA 带来的核心优势

* **具备了“反事实推理”能力（Counterfactual Thinking）：** 机器人可以试错。它可以在内部世界模型中模拟“如果我从左边抓会倒，那如果我从右边抓呢？”，从而在不损坏现实物理世界的情况下，找出安全解。

* **利用海量互联网视频进行无监督学习：** 带有机械臂精确控制数据（动作标签）的视频极度缺乏，但互联网上有无数人类日常活动的普通视频。WMA 的世界模型部分可以**只通过看人类做家务、大自然运转的视频**，来疯狂汲取地球的“物理常识（重力、摩擦力、刚体碰撞、液体流动）”，再将这些常识迁移给机器人。

* **更稳健的交互：** 当外界发生突发干扰（如人推了一下椅子），WMA 能立刻意识到现实画面与它“脑补”的未来不符，从而迅速调整世界模型的预测，触发重规划（Replanning）。

5. 行业前沿与未来挑战

目前，WMA 已经被公认为具身智能迈向通用人工智能（AGI）的必由之路。例如，各大学术顶会（如 CVPR 2026 / EAI 2026 具身智能研讨会）均将“世界模型与动作（World Models for Action）”列为了全场的最核心议题。

不过，WMA 现阶段依然面临两大核心阻碍：

(1) **生成幻觉（Generative Hallucination）：

** 脑补的视频如果出现“物理不一致”（例如杯子凭空消失、桌子穿模），会导致机器人学到错误的动作。

(2) **高昂的计算延迟（Latency）：

** 实时生成未来几秒的视频或 3D 轨迹极其消耗算力。如何让 WMA 模型的运行频率从目前的几赫兹（Hz）提升到足以支持真机高频控制的几十、上百赫兹，是目前学术界和工业界（如 NVIDIA Isaac 平台等）正在极力攻克的技术大山。

三. 动作行为决策

在具身智能（Embodied AI）和机器人系统中，动作行为决策（Action and Behavior Decision Making）是机器人的“最高指挥官”。

如果说感知（VLN、场景理解）是机器人的眼睛和耳朵，大模型（VLA、WMA）是机器人的大脑，那么**动作行为决策系统就是机器人的“神经中枢”**。它负责承上启下：把大脑中抽象的、高层的语义意图，转化为具体的、可执行的、安全的机器操作序列。

1. 动作行为决策的“双层架构”

现代具身智能机器人的决策系统，通常不会直接从“人类一句话”一步跨越到“电机转多少圈”，而是采用**分层决策架构（Hierarchical Decision-Making）**，分为**高层任务规划**和**低层动作控制**。

(1) 高层任务规划（Task Planning / Task Intelligence）

* **核心任务：** 解决“做什么（What to do）”**以及**“按什么顺序做（In what order）”的问题。它负责将复杂的长期长程任务（Long-Horizon Tasks）拆解为原子动作（Atomic Actions）。

* **举例：** * *人类指令：* “帮我把桌上的脏杯子放到洗碗机里。”

* *高层决策拆解：* a. 导航走到桌子前；

b. 识别并定位脏杯子；

c. 伸手抓取杯子；

d. 导航走到洗碗机前；

e. 打开洗碗机的门；

f. 将杯子放入洗碗机指定卡槽;

(2) 低层动作策略（Motion/Action Control）

* **核心任务：** 解决“怎么做（How to do）”的问题。接收到高层的原子动作（如“伸手抓取杯子”）后，低层决策系统要结合实时的视觉、触觉和力觉反馈，计算出机器人的关节运动轨迹或底盘速度。

2. 动作行为决策的核心技术演进

从传统机器人到如今的具身智能大模型时代，动作行为决策技术经历了重大的范式转变：

(1) 传统基于规则与符号的决策（经典机器人学）

在过去，行为决策主要依赖于人类专家编写的逻辑。

* **有限状态机（FSM，Finite State Machine）：** 设定好一堆状态（如“巡航”、“抓取”、“避障”），根据传感器的触发条件在不同状态间跳转。这种方法极其稳定，但**极度刻板**，一旦环境超出预设，机器人就会死机。

* **行为树（Behavior Trees, BT）：** 相比状态机更具模块化和层次感，被广泛应用于工业机器人和游戏 AI 中（如 ROS2 中的 Nav2 导航行为树）。它通过“选择”、“顺序”、“并行”等节点控制机器人的行为逻辑。

(2) 基于强化学习与模仿学习的决策（数据驱动时代）

为了让机器人学会处理不确定性，研究者开始让 AI “自己学做决策”。

* **强化学习（RL）：** 机器人通过在仿真环境或现实中不断“试错”，由于做出了好动作（如成功抓起物体）获得奖励，做出坏动作（如撞翻杯子）获得惩罚，从而训练出最优的决策策略。

* **模仿学习 / 行为克隆（Imitation Learning / BC）：** 人类通过遥操作（Teleoperation）带着机器人做几百次任务，机器人通过深度神经网络（如 **Diffusion Policy 扩散策略**）去像素级模仿人类的动作和发力轨迹。这是目前低层动作控制（如灵巧手抓取、炒菜、折衣服）最主流、效果最好的方案之一。

(3) 大模型驱动的常识决策（具身智能时代）

现在，大语言模型（LLM）/ 多模态大模型（VLM）成为了高层决策的绝对核心。

* **大模型作为 Planner：** 大模型通过海量文本训练，天生具备完美的逻辑拆解能力。例如经典的 **SayCan** 框架，大模型负责给出“我想做什么”（Say），而低层技能模型评估当前环境下“我能不能做到”（Can），两者结合筛选出最靠谱的下一步决策。

* **代码生成即决策（Code as Policies）：** 这种前沿方法直接让大模型输出控制机器人的 API 代码（例如一段 Python 脚本），由代码去调用机器人的底层运动控制器，实现了极其灵活的逻辑推理。

3. 行为决策的核心挑战与痛点

让机器人在多变、未知的现实世界中做出正确的决定，依然面临极大的工程和理论挑战：

* **动态环境中的快速重规划（Replanning）：** 如果机器人决定去拿杯子，在手伸到一半时，杯子被人类拿走了，或者桌子晃动了。决策系统必须在几毫秒内意识到“原有计划失效”，并立刻发起重规划，而不是盲目地继续抓空。

* **安全护栏（Safety Guardrails）：** 深度学习大模型是一个“黑盒”，有时候会做出匪夷所思的决策（比如大模型可能为了完成“擦桌子”的任务，决定把水直接泼到旁边的插排上）。因此，必须在决策系统外层包裹硬性的**物理与几何安全约束**。

* **奖励函数设计难（Reward Shaping）：** 在强化学习中，告诉机器人什么是“好动作”极其困难。如果奖励设计不好，机器人可能会寻找算法漏洞（比如为了偷懒不摔倒，干脆原地不动）。

4. 总结：通往全自主行为决策的未来

未来的具身智能行为决策，正在朝着 **“端到端（End-to-End）与分层架构融合”** 的方向发展。

高层决策依靠 **WMA（世界动作模型）** 或大模型，在脑海里进行长程的“物理常识推理”和“意图拆解”；低层决策则依托 **Diffusion Policy（扩散策略）** 或高频反应式控制算法，实现毫米级的精准丝滑操作。

两者的完美结合，才能让机器人真正像人类一样——**既能谋定而后动（高层决策），又能眼疾手快地处理眼前的突发状况（低层决策）**。