技术拆解（十五）具身智能：RT-2为什么能听懂“灭绝动物”？VLM知识如何变成动作

RT-1已经证明，一个统一的Transformer策略可以吸收大规模、多任务机器人示范，根据语言指令和视觉观察直接预测机器人动作。但RT-1的知识主要来自机器人数据：它能够学习“怎样拿起杯子”“怎样打开抽屉”，却难以理解机器人示范中没有出现过的开放概念、符号和常识。例如指令是“拿起已经灭绝的动物”，机器人不仅要会抓取，还要知道恐龙属于已经灭绝的动物；指令是“把香蕉放到2+1对应的数字上”，机器人还需要识别数字并完成简单计算。这些知识很难依靠有限的机器人轨迹覆盖，却已经存在于互联网规模的视觉语言数据中。RT-2的核心目标就是把VLM预训练获得的视觉识别、语言理解和世界知识迁移到机器人控制。其演进关系可以概括为：

RT-1：机器人示范数据→多任务机器人策略

RT-2：互联网视觉语言知识+机器人示范数据→视觉语言动作模型

1.2 RT-2是什么

RT-2全称为Robotics Transformer 2，是Google DeepMind于2023年提出的Vision-Language-Action Model，简称VLA。它在预训练视觉语言模型VLM的基础上加入机器人轨迹数据，使同一个模型既可以理解图像和自然语言，也可以输出机器人动作。RT-2论文将这类同时建模视觉、语言和动作的模型正式称为VLA。RT-2可以概括为：

其中，It表示机器人当前时刻看到的图像，i表示用户语言指令，at表示当前机器人动作，πθ表示VLA策略。其核心过程是：

当前图像+语言指令→RT-2→机器人动作

与RT-1相比，RT-2最重要的变化不是机械臂动作突然变得更精细，而是模型开始继承互联网预训练中的物体概念、符号知识和初步语义推理能力。

1.3 RT-1、PaLM-E与RT-2的关系

RT-2可以理解为把RT-1的“动作Token化思想”加入预训练VLM，但不能简单理解成把一个完整PaLM-E和一个完整RT-1首尾连接。RT-1是独立训练的低层机器人策略；PaLM-E主要让预训练语言模型能够接收图像、机器人状态等连续传感器输入，并输出文本答案或高层计划；RT-2则直接在PaLI-X、PaLM-E等预训练VLM上加入机器人数据，使VLM原来的Token生成结构也能生成机器人动作。三者的定位可以表示为：

RT-1：视觉+语言条件→低层动作

PaLM-E：视觉+语言+传感器信息→文本回答或高层计划

RT-2：视觉+语言→低层机器人动作Token

RT-2不是“VLM负责规划，RT-1在后面执行”的两个模型串联，而是把视觉理解、语言理解和动作生成训练进同一个端到端模型。

1.4 RT-2不是一个固定网络，而是一套VLM转VLA的方法

RT-2不是只有一种确定的网络结构。论文主要实现了两类模型：RT-2-PaLI-X，包括5B和55B版本；RT-2-PaLM-E，使用12B版本。它们内部的视觉语言架构并不相同，但都遵循相同方法：将机器人动作表示成VLM能够输出的Token，并将机器人数据与原有视觉语言数据共同训练。

因此：

RT-2≠某一个固定Transformer结构

更准确地说：

RT-2=预训练VLM+动作Token化+机器人数据与Web数据联合训练

二、RT-2的数据组织与动作表示

2.1 Episode与逐时间步训练样本

RT-2仍然使用机器人示范Episode。一条完整轨迹可以表示为：

其中，i表示整个任务的语言指令，It表示第t个时间步的机器人相机图像，at表示专家在当前时刻下发的动作，IT表示任务结束时的最终观察。训练时，Episode会被拆成逐时间步样本：

官方对机器人数据的描述是：每个训练样本包含当前图像、语言指令，以及该时间步的机器人动作。与RT-1显式使用最近6帧视觉历史不同，RT-2主要沿用VLM的输入形式，以当前机器人图像和语言指令生成当前动作Token。

2.2 RT-2的动作空间

RT-2展示的一步动作由8项组成：

其中，mt表示继续执行还是终止当前Episode；Δx,Δy,Δz表示机器人末端执行器在三个方向上的位置增量；Δrx,Δry,Δrz表示末端执行器的三个旋转增量；gt表示夹爪的目标开合程度。官方动作字符串首先表示继续或终止，随后依次表示位置变化、旋转变化和夹爪状态。这与RT-1的11维完整动作空间不同。RT-1同时包含7维机械臂动作、3维移动底盘动作和1个控制模式；RT-2论文中重点展示的是8个输出位置：

终止标志+6DoF末端位姿增量+夹爪动作

2.3 连续动作如何离散化

机器人动作原本是连续数值，例如：

RT-2沿用RT-1的动作离散化思想，将每个连续动作维度的有效范围均匀划分为256个区间。对第d个连续动作分量，可以概念化表示为：

其中，at(d)表示真实动作值，ld,ud表示该动作维度的上下界，q(at(d))表示对应的动作Bin编号。连续动作越接近下限，编号越接近0；越接近上限，编号越接近255；接近不动的动作通常位于中间区域。

因此，一步连续动作会转化为：

例如官方展示的动作字符串：

看上去是一串数字文本，但实际上表示当前控制周期的一组机器人动作。

2.4 动作Bin如何映射到VLM词表

RT-1中的动作Token属于独立的动作分类空间，与语言词表无关；RT-2为了直接复用VLM原来的文本生成结构，将动作Bin映射进VLM的输出Token空间：

RT-1：动作类别空间≠语言词表

RT-2：动作Bin→VLM输出Token

不同基础VLM使用的映射方式略有区别。PaLI-X的Tokenizer可以把较小整数表示成独立Token，因此可以较直接地使用整数Token表示0～255的动作Bin；PaLM-E原有Tokenizer会把数字拆分，论文因此重新使用一组低频Token来承载256个动作Bin。无论哪种方式，其目标都是让一个动作维度只对应一个Token，而不是把数字128拆成“1”“2”“8”三个Token。

2.5 动作Token与文字Token共用输出空间，但含义不同

RT-2处理普通视觉问答任务时，可以输出：

“apple”,“three”,“red bowl”

处理机器人控制任务时，则输出：

“1 128 91 241 5 101 127 217”

两类输出共用模型参数和Token预测头，但动作Token的物理含义来自人为规定的动作映射，并不来自普通自然语言语义。某个Token在普通文本数据中可能几乎不用，在机器人任务中却被重新定义为“末端执行器向某方向移动的第132档”。因此，“动作是一种语言”更准确的理解是：

RT-2把机器人动作组织成与语言输出相同的数据格式，而不是认为机器人动作本身真的具有自然语言词义。

2.6 RT-2不是直接回归模型

从最终任务来看，RT-2实现的是：

图像+语言→连续机器人控制量

看起来像回归问题，但模型内部并没有直接预测Δx=0.012这样的浮点数。它先预测动作Bin对应的离散Token，再反量化为连续动作。因此RT-2本质上是：

离散动作Token生成模型

而不是：

直接连续动作回归模型

推理时来看：

RT-1通过11个动作分类头预测离散动作

RT-2则复用VLM的语言生成头，以自回归形式生成一串动作Token

简单来说：RT-1并行一次输出一组动作token（11个），RT-2串行一个个输出动作token，直到拼凑出完整的一组token（8个）

2.7 RT-2的数据实例

Web互联网数据（视觉问答VQA）

输入：一张桌上左有苹果、中有绿杯、右有香蕉的图片，以及问题“哪个物体在最右边？”

输出：文字Token标签转为→文本答案“香蕉”。

核心作用：通过海量此类图文问答数据，模型学会了物体识别、空间关系理解等视觉语义常识，为后续推理能力奠定基础。

机器人轨迹数据（机械臂操作）

输入：机械臂第一人称视角的当前画面和语言指令“拿起香蕉”，

输出：动作Token标签转为→一串离散化的动作数字（如“5 128 91 241 73 101 200 150”）→动作解码器→机器人控制量

核心作用：通过成千上万条“图像+指令→动作数字串”的遥操作记录，模型学会了将视觉感知和语言意图映射为具体的机械臂控制指令。

三、RT-2的模型结构与视觉语言融合

3.1 RT-2整体结构

RT-2的基本结构可以概括为：

预处理：机器人图像→VLM视觉编码模块→视觉表示；语言指令→Tokenizer→文本Token

后处理：视觉表示+文本Token→VLM多模态主干→动作Token序列动作Token→反量化→连续机器人动作

与RT-1不同，RT-2不再通过USE将整句话压缩成一个句子向量，也不再通过FiLM将语言提前写入EfficientNet。语言以完整文本Token序列进入VLM，图像也按照原有VLM结构被编码，视觉和语言在大型多模态模型内部进行联合建模。

3.2 RT-2-PaLI-X结构

PaLI-X采用视觉编码器加Transformer Encoder—Decoder结构。图像首先经过ViT视觉编码器形成视觉Patch嵌入，语言输入经过Tokenizer和嵌入层形成文本向量；经过投影后的视觉嵌入与文本输入嵌入一起送入Encoder，Decoder再自回归生成文本或动作Token。PaLI-X-55B主要由22B参数的ViT视觉部分和约32B参数的UL2 Encoder—Decoder主干组成。其结构可以概括为：

因此RT-2-PaLI-X并不是只使用Decoder，而是一个标准意义上包含Encoder和Decoder的多模态生成模型。

3.3 RT-2-PaLM-E结构

PaLM-E建立在Decoder-only语言模型PaLM之上。图像和其他连续传感器输入先经过视觉编码器和投影层，变成与语言Token嵌入维度相同的连续向量；这些视觉向量与文本Token嵌入组成一条“多模态句子”，共同送入Decoder-only PaLM，模型再自回归输出文本或动作Token。其结构可以概括为：

这里的拼接是嵌入向量序列的拼接，不是把原始图像像素和文字字符直接连接起来。

3.4 RT-2到底是不是Decoder-only

不能笼统地说RT-2只使用Decoder，因为RT-2是一套训练方法，不是单一架构：

RT-2-PaLM-E=Decoder-only

RT-2-PaLI-X=Encoder-Decoder

两者都可以成为RT-2，是因为RT-2的核心定义不是是否使用Decoder-only，而是：

预训练VLM+动作文本Token+Web与机器人数据联合训练

3.5 视觉和语言究竟如何融合

RT-2中的图像和语言不是在原始数据层面拼接。图像先转换成视觉特征向量：

语言先转换成文本嵌入向量：

然后模型在统一隐藏维度中通过注意力建立两种模态之间的关系。例如指令为“拿起已经灭绝的动物”，语言Token中的“已经灭绝的动物”会与图像中的恐龙区域建立对应；指令为“拿起最小的物体”，模型需要比较多个视觉区域的大小，再把满足条件的物体作为动作目标。与RT-1的区别可以概括为：

RT-1：语言向量FiLM调制视觉特征

RT-2：视觉Token+完整语言TokenVLM联合建模

RT-1更像“带着任务去看图”，RT-2则进一步让模型在完整多模态语义空间中分析对象、属性、关系和指令。

3.6 VLM的输出层如何变成动作生成器

普通VLM通常学习：

图像+问题→文本答案

例如：

图片+“图中有几个苹果？”→“three”

RT-2将机器人训练样本也改写成同样格式：

机器人图像+操作指令→动作Token字符串

于是，原本用于预测下一个文字Token的输出层，也可以预测下一个动作Token。RT-2没有必要再增加一个完全独立的大型动作网络，而是让同一个多模态模型同时学会回答问题和控制机器人。

四、RT-2的联合训练过程

4.1 两类训练数据

RT-2训练时同时保留两类数据。第一类是原有互联网视觉语言数据，例如图像描述、视觉问答、OCR和其他多模态任务：

图像+文本问题→文本答案

第二类是机器人轨迹数据：

机器人图像+语言指令→动作Token

两类数据最终都被表示为：

多模态输入→Token序列输出

因此可以使用同一个VLM框架进行联合训练。

4.2 为什么不能只使用机器人数据微调

预训练VLM已经从互联网图文数据中学到大量物体、符号、语言关系和常识。如果只使用规模较小的机器人数据继续微调，模型可能逐渐过度适应机器人任务，并遗忘原有视觉语言能力，即发生灾难性遗忘。例如模型本来知道恐龙、国旗、数字和简单算术，但如果后续长期只训练“拿起杯子”“打开抽屉”等机器人样本，这些能力可能退化。RT-2因此没有完全丢掉原始Web数据。

4.3 Co-Fine-Tuning

RT-2采用Co-Fine-Tuning，可以理解为“机器人微调”和“保留原始多模态训练”的结合。训练数据混合为：

概念上的训练目标可以写成：

其中，Lrobot用于学习机器人动作，Lweb用于维持原有视觉语言能力，λr,λw控制两类任务的训练权重。论文将这种保留部分原始图文数据、同时加入机器人数据的方法称为Co-Fine-Tuning。其核心目的可以概括为：学习机器人动作+不遗忘互联网知识

4.4 动作Token如何训练

假设一步机器人动作被表示成8个Token：

yt=[yt,1,yt,2,…,yt,8]

RT-2按照自回归方式预测：

其中，yt,<k表示当前动作序列中已经生成的前几个Token。对应的机器人训练损失为：

训练阶段，模型能够看到专家真实动作字符串；推理阶段，则需要自己逐个生成8个动作Token。

为了让模型学会“根据过去预测未来”，Transformer采用的是自回归（Auto-regressive）机制，这必然涉及教师强制（Teacher Forcing）。所以实际上，RT-2在训练时，会把真实的动作Token（Ground Truth）拼接在输入序列里。数学层面实现如下：

【输入序列】：

[图像Token]+ [语言Token]+ [真实动作Token_1]+ ... + [真实动作Token_8]

【输出目标矩阵】（整体右移一位，末尾填充）：

[语言Token]（忽略） + [动作Token_1]（计算） + [动作Token_2]（计算） + ... + [动作Token_8]（计算） + [<PAD>]（忽略）

【因果掩码】：

预测Token_2时，模型能看到Token_1（作为上下文），但被掩码挡住不能看Token_3。

【损失计算】：

模型输出预测的Token后，与输入序列里“错位一位”的真实Token计算交叉熵损失。

这一点上，RT-1和RT-2的底层训练逻辑完全一致。

4.5 RT-1和RT-2训练方式的区别

RT-1和RT-2都主要使用机器人示范进行模仿学习，但输出方式不同：

RT-1：视觉语言特征→独立动作分类

RT-2：视觉语言特征→VLM生成头→动作Token序列

RT-1重点学习的是：

机器人数据中的观察—动作映射

RT-2还需要维持：

Web视觉语言任务中的图像—文本映射

因此RT-2不仅是一次机器人行为克隆，也是一次VLM向VLA的联合适配。

4.6 互联网知识如何迁移到机器人动作

互联网数据与机器人数据提供的能力并不相同：

Web数据：理解对象、属性、符号、关系和常识

机器人数据：学习夹爪如何移动、怎样抓取、怎样放置

经过联合训练后，模型可以形成：

语义理解→确定目标→调用已有机器人技能

例如“拿起已经灭绝的动物”：VLM预训练负责理解恐龙属于已灭绝动物，机器人数据负责提供抓取动作；“把香蕉放到2+1的位置”：VLM负责理解2+1=3并找到数字3，机器人数据负责完成移动和放置。RT-2展示的核心迁移正是“新语义理解+已有动作技能”。需要注意，这不代表互联网图文数据能直接教会机器人新的低层动作。模型知道“鞋带是什么”，不等于已经会系鞋带；如果机器人示范中没有复杂灵巧操作，Web知识无法自动补齐相应的控制技能。

五、RT-2的推理与闭环控制

5.1 推理过程

RT-2部署后的推理过程为：

①机器人获取当前图像；

②将图像和用户语言指令输入VLA；

③模型自回归生成8个动作Token；

④系统将Token解码为终止标志、位置增量、旋转增量和夹爪动作；

⑤动作Bin反量化为连续控制量；

⑥底层控制器执行动作；

⑦相机获得新的图像；

⑧再次根据新图像预测下一步动作。官方说明动作Token会在推理阶段被反Token化为机器人动作，用于闭环控制。

完整闭环可以表示为：

5.2 RT-2仍然是单步闭环策略

RT-2不是一次生成从开始到结束的完整机器人轨迹，而是每个控制周期只生成当前时刻的一步动作，整体运行过程为：

观察→当前动作→新观察→下一动作

如果上一步抓取失败、物体发生移动或者机械臂未按预期到达位置，新的相机图像会反馈真实结果，模型可以在后续控制周期中修正。因此，RT-2仍然是一种单步闭环策略。在每一步动作内部，RT-2将8维动作表示成8个Token，并复用VLM的语言建模头，以自回归方式依次生成：

mt→Δx→Δy→Δz→Δrx→Δry→Δrz→gt

这构成了RT-1与RT-2在推理阶段的核心分水岭：RT-1使用11个动作分类头，通过一次前向传播并行输出完整动作向量，即11个Token，追求低延迟控制；RT-2则把动作视为一种“外语”，逐个生成动作Token，直到组成完整的8维动作。简言之，RT-1是“一次拍板”，RT-2是“逐字造句”。

这种方式的优点是可以直接复用VLM原有的文本生成结构；缺点是生成速度慢于并行输出，而且前面动作Token的错误可能影响后续Token。这也是后续VLA逐渐采用独立动作头、动作块、扩散模型和Flow Matching的重要原因。

5.3 RT-2的Chain-of-Thought版本

在单步闭环和自回归动作生成的基础上，RT-2还进行了Chain-of-Thought控制实验。研究团队对RT-2-PaLM-E进行额外微调，使模型能够先生成自然语言计划，再生成动作Token：

Plan：选择可以当作锤子的物体

Action：动作Token序列

例如，当用户要求“拿起可以临时用作锤子的东西”时，模型可以先判断石头适合作为临时锤子，再输出抓取石头的动作。官方将其视为VLA继承底层VLM语言推理能力的初步证据。但这并不意味着普通RT-2会在每个控制周期输出长篇思维过程，也不代表RT-2已经具备稳定的长时规划能力。CoT是经过额外训练得到的实验变体。

5.4 RT-2不是世界模型

尽管RT-2能够利用语言知识进行一定程度的语义推理，其核心仍是根据当前图像和语言直接生成动作。

它不会显式生成多个候选未来状态，也不会明确模拟“执行不同动作后，环境将发生什么变化”。因此，RT-2主要仍是一种反应式VLA策略，而不是显式世界模型。它可以借助语言知识判断“应该抓什么”，但这并不等同于能够在内部准确模拟长期物理结果。

六、RT-2的能力与实验意义

6.1 新物体与新背景泛化

RT-2能够把VLM的视觉识别能力迁移到机器人任务，对机器人训练数据中未出现的物体、背景和环境表现出更强泛化。官方在6000多次机器人评测中测试了模型的语义和视觉泛化能力，并报告RT-2在多项泛化维度上明显优于RT-1等基线。

6.2 符号理解

RT-2可以利用互联网预训练理解数字、图标和其他视觉符号。例如：

“把香蕉放到数字3的位置”

模型需要先识别画面中的数字3，再调用放置技能。机器人数据可能没有专门教授数字识别，但VLM已经从Web图文数据中学习了相关概念。

6.3 属性和关系推理

RT-2能够处理不直接给出具体物体名称的指令，例如：

“拿起最小的物体”

“拿起离苹果最近的物体”

“拿起与其他物体最不一样的东西”

模型需要比较多个物体的大小、距离或类别差异，先确定目标，再生成动作。官方将这类能力归为RT-2从互联网规模训练中获得的初步语义推理能力。

6.4 常识迁移

“拿起已经灭绝的动物”是RT-2最典型的示例。模型需要识别画面中的多个动物玩具，理解“已经灭绝”这一高层概念，并把恐龙作为抓取目标。其过程可以理解为：

语言常识：恐龙属于已灭绝动物

视觉理解：画面中的目标是恐龙玩具

机器人技能：移动夹爪并抓取目标

这三部分能力在RT-2中被端到端连接起来。

6.5 三类涌现能力

论文将涌现任务大致分为符号理解、语义推理和人类相关视觉知识等类别，并比较了RT-2-PaLM-E-12B、RT-2-PaLI-X-55B、RT-1与其他视觉预训练基线。官方项目页报告，在这类涌现任务上，RT-2相对基线取得约3倍的整体提升；在多种泛化测试中取得约2倍提升。这里所谓“涌现”，主要指这些具体指令没有直接出现在机器人示范中，但模型能利用VLM预训练知识完成任务，而不是表示机器人突然获得了完全不受数据约束的通用智能。

6.6 模型规模与预训练的重要性

RT-2论文比较了PaLI-X的5B与55B版本，以及从头训练、普通微调和Co-Fine-Tuning等不同方案。结果显示，预训练VLM权重非常重要，模型规模增加也总体上改善了机器人泛化能力。这说明：

更强的VLM视觉语言能力→更强的机器人语义泛化

但模型规模扩大主要增强的是理解和泛化能力，并不自动解决动作控制精度、控制频率和灵巧操作问题。

6.7 Language Table实验

RT-2还在Language Table基准中进行训练。官方项目页报告，RT-2在仿真任务中取得90%的成功率，高于此前77%的最好结果；同一技术路线在真实机器人上也能对番茄酱瓶、香蕉等训练数据中未出现的物体表现出一定泛化。这一实验说明，RT-2的方法并不只适用于Google原有机器人平台。只要能把目标机器人的动作离散并映射为Token，就可以使用类似方法把预训练VLM适配成VLA。

七、RT-2的贡献、局限与技术演进

7.1 RT-2的核心贡献

第一，RT-2正式提出VLA范式，使同一个模型能够统一处理视觉、语言和机器人动作。

第二，它提出一种简单的动作统一方式：将连续动作划分为256个Bin，再映射到VLM的Token输出空间，从而直接复用预训练模型的Transformer和生成头。

第三，RT-2采用Co-Fine-Tuning，同时训练Web视觉语言数据与机器人轨迹数据，使模型学习动作时保留互联网预训练知识。

第四，RT-2证明VLM中的物体概念、符号理解和初步推理能力可以迁移到真实机器人控制。

其核心结构可以概括为：

预训练VLM+动作Token化+Web与机器人数据联合训练=VLA

7.2 RT-2的主要局限

第一，连续动作被离散为256档，会产生量化误差。

第二，普通Token交叉熵不会天然表达动作之间的物理距离，例如预测127通常比预测20更接近真实Token 128，但损失函数将它们视为不同类别。

第三，动作Token需要自回归生成，控制延迟较高，且前面Token的错误可能影响后面Token。

第四，12B和55B模型计算成本远高于RT-1，不利于端侧实时部署。

第五，RT-2提升更明显的是语义泛化，而低层动作能力仍受机器人示范限制。

第六，模型每次主要生成当前时刻的单步动作，没有专门建模未来多步连续动作。

第七，RT-2没有显式世界模型，复杂长时任务、错误恢复和物理预测能力仍然有限。

7.3 RT-1、RT-2与π₀的演进关系

对比项	RT-1	RT-2	π₀
模型定位	语言条件多任务机器人策略	视觉语言动作VLA	通用机器人基础策略
基础模型	EfficientNet＋小型Transformer	PaLI-X或PaLM-E等VLM	预训练VLM＋Action Expert
语言处理	USE句子向量	完整文本Token	完整文本Token
视觉语言融合	FiLM调制视觉特征	VLM内部联合建模	VLM表征为动作专家提供条件
Transformer结构	Decoder-only主干	PaLI-X为Encoder—Decoder；PaLM-E为Decoder-only	VLM与专用动作专家组合
动作表示	独立单步离散动作Token	映射到VLM词表的单步动作Token	连续多时间步动作块
动作生成	动作分类	自回归Token生成	Flow Matching连续生成
训练数据	机器人示范为主	Web视觉语言数据＋机器人示范	多机器人预训练＋任务后训练
主要意义	证明机器人策略可以规模化	将互联网知识迁移到动作	强化高频连续动作建模

三者的技术演进主线是：

RT-1：大规模机器人数据→统一多任务策略

RT-2：预训练VLM+机器人动作Token→VLA

π0：预训练VLM+专用Action Expert+Flow Matching→连续动作基础模型

RT-1主要解决“一个模型能否学习大量机器人任务”；RT-2主要解决“机器人能否继承互联网视觉语言知识”；π₀则进一步解决“大型VLM不擅长高频、连续、多步动作生成”的问题。

7.4 整体总结

1.RT-2的完整过程可以压缩为：

互联网图文数据→预训练VLM

机器人Episode→当前图像+语言指令+专家动作

连续动作→256档离散化→8个动作Token

Web视觉语言数据+机器人动作数据→Co-Fine-Tuning

当前图像+语言指令→RT-2→动作Token序列

动作Token→连续控制量→机器人执行→获得新图像→继续闭环预测

2.RT-2需要重点记住十点：

①RT-2不是把完整PaLM-E和完整RT-1简单串联，而是把预训练VLM直接训练成动作生成模型；

②RT-2是一套VLM转VLA的方法，不是一个固定网络结构；

③RT-2-PaLI-X使用Encoder—Decoder结构，RT-2-PaLM-E使用Decoder-only结构；

④语言在RT-2中保留为完整文本Token，不再像RT-1一样先压缩成USE句子向量；

⑤视觉和语言先分别变成连续向量，再在VLM内部联合建模；

⑥连续机器人动作被划分为256个Bin，并组织成8个动作Token；

⑦RT-2的动作Token映射到VLM词表空间，但其物理含义与普通语言词义不同；

⑧模型通过Co-Fine-Tuning同时学习Web任务和机器人任务，从而在学习动作时保留互联网知识；

⑨RT-2最核心的泛化是“利用新语义调用已有动作技能”，并不能凭空获得机器人数据中没有的新低层动作；

⑩RT-2正式建立了VLM到VLA的技术路线，是后续OpenVLA、RT-X以及通用机器人基础模型的重要起点。

7.5 RT-2注意点

①ViT（Vision Transformer）视觉编码器的核心结构，是将图像转换为序列，然后仅使用Transformer架构中的编码器（Encoder）部分进行处理

②机器人输出的Token里，代表具体动作数值的那些Token，其文本内容被限定在‘0’到‘255’之间；但输出序列中同时夹杂着空格、结束符等辅助性Token。

③RT-2代码上没有两套损失函数，实际是一套，Web文本和机器人动作都被转换成Token序列，统一使用Token级交叉熵训练

④视觉Token和视觉嵌入的区别

视觉Token（Visual Tokens）：指ViT（视觉编码器）直接输出的原始特征向量。

视觉嵌入（Visual Embeddings）：指VIT的输出经过“投影层（Projection Layer）”映射之后的向量。

哲学思考

“动作不是语言的终点，而是知识获得身体的开始。”

——当“灭绝动物”的常识、数字3的符号、256个动作Bin、8个自回归Token和机械臂的闭环反馈被放进同一模型，VLM便不再只会描述世界，而开始把概念翻译成位姿增量与夹爪开合；Co-Fine-Tuning一边保留Web知识，一边接入机器人Episode，让新语义调用已有技能。它表面上是在复用生成头，本质上是在重新划分理解与行动的边界：知识不会天然变成能力，只有经过表示、训练和反馈，才真正获得改变物理世界的手。

结尾语：如果本文对您有帮助，请点赞鼓励一下，这对我真的很重要。您的每一次鼓励，都是我继续创作的动力，谢谢啦！下次见。

DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

AI Agnet

AI Agent。Agent 和普通聊天机器人有什么区别？Workflow 和 Agentic Workflow 是什么？Tool、Function Calling、Plugin、Skill 又有什么不同？RAG 算不算记忆？MCP 和 A2A 分别是干什么的？一个 Agent 不够，为什么还要搞多智能体？这些名词单独看都不难，难的是它们经常混在一起出现。所以这篇文章不讲太复杂的理论，而是尽量用通