前言

随着大语言模型和视觉-语言模型的快速发展，如何将这些强大的基础模型应用到机器人操控中，成为了学术界和工业界的热门话题。我们看到了像OpenVLA、π₀等工作，它们直接利用预训练的2D VLM来生成机器人动作，展现出了令人兴奋的泛化能力。

然而，这些方法有一个根本性的问题：机器人操控本质上是3D的，但VLM却是基于2D数据训练的。这就好比让一个精通平面绘画的艺术家去雕刻一座雕塑——虽然审美能力在，但对空间的感知却不够。

在这项工作中，我们提出了Dex-BEV，一套系统性的解决方案，旨在为灵巧操作建立一个统一的、3D对齐的输入-输出框架。我们的论文已被ICLR 2026接收，代码和数据管线已开源。

---

一、我们想解决什么问题？

1.1 现有VLA的两大痛点

痛点一：输入缺乏3D感知

目前的VLA模型大多以2D RGB图像作为输入。虽然有些工作尝试引入深度图或点云，但它们要么无法利用预训练的2D VLM，要么只是将每个相机独立处理，缺乏多视角之间的几何关联。

举个例子：一个物体被两个不同角度的相机拍到，在各自的图像坐标系中它的位置完全不同。如果模型不能理解这两个视角之间的空间变换关系，就很难在3D空间中精确定位这个物体。

痛点二：输入-输出空间不对齐

这个问题更加隐蔽但也更加致命：

• 空间不对齐：不同数据集对"世界坐标系"的定义不同。比如LIBERO数据集以桌面中心为世界原点，而一些双臂机器人则将左右臂的基座分别作为各自的世界原点。这导致同样的动作在不同的数据集中表示方式完全不同，给模型学习带来了不必要的负担。

• 时间不对齐：不同操作员操作速度不同，同一个任务可能耗时20秒也可能耗时40秒。模型在学习时需要处理这种"节奏"上的差异，增加了学习的难度。

1.2 我们的核心思路

我们的想法很简单但有效：把所有东西都对齐到同一个3D空间中去。

• 将多相机的观测信息转换到一个共享坐标系中
• 将机器人的动作也表达在这个坐标系中
• 将不同数据集的轨迹在时间维度上归一化

这样，模型学习的就是同一个3D空间中的映射关系，而不用去管具体是哪个相机、哪个机器人、哪个操作员。

---

二、技术方法详解

2.1 问题形式化

在时间步 $t$，策略的输入为：

X t = { { ( O t , i , K i , T t , i ) } i = 1 N , L , s t } \mathcal{X}_t = \{\{(\mathbf{O}_{t,i}, \mathbf{K}_i, \mathbf{T}_{t,i})\}_{i=1}^N, \mathcal{L}, \mathbf{s}_t\} Xt​={{(Ot,i​,Ki​,Tt,i​)}i=1N​,L,st​}

其中：

• ${\mathbf{O}}_{t,i}=({\mathbf{I}}_{t,i},{\mathbf{D}}_{t,i})$：第 $i$ 个相机的RGB图和深度图
• ${\mathbf{K}}_i$：相机内参矩阵
• ${\mathbf{T}}_{t,i}\in SE(3)$：相机外参（位姿）
• $\mathcal{L}$：语言指令
• ${\mathbf{s}}_t$：机器人本体感知（如关节角度）

策略需要预测未来 $M$ 步的动作块 { A t + m } m = 1 M \{\mathbf{A}_{t+m}\}_{m=1}^M {At+m​}m=1M​，动作通常表示为末端执行器的6D位姿 $(位置,姿态)$。

2.2 对齐的顶点图 (Aligned Vertex Map)

这是实现3D空间对齐的核心步骤。

第一步：反投影

利用深度图 ${\mathbf{D}}_{t,i}$ 和相机内参 ${\mathbf{K}}_i$，将像素 $(u,v)$ 反投影到相机坐标系：

$${\mathbf{P}}_{camera,i}(u,v)={\mathbf{K}}_i^{-1}[u,v,1{]}^T{\mathbf{D}}_{t,i}(u,v)$$

这样就得到了一个顶点图——每个像素对应一个3D点，但保留着2D的图像结构。

第二步：坐标变换

关键来了！我们利用相机外参 ${\mathbf{T}}_{t,i}$，将所有相机的顶点图变换到同一个共享坐标系下：

$${\mathbf{P}}_{aligned,i}={\mathbf{T}}_{align,t}^{-1}{\mathbf{T}}_{t,i}{\mathbf{P}}_{camera,i}$$

这里的 ${\mathbf{T}}_{align,t}$ 就是我们选定的共享参考帧（比如机器人基座或BEV帧）。

这样做的好处是什么？

想象一个场景：一个杯子被两个相机同时拍到。在相机A中杯子的坐标是 $(1,2,3)$，在相机B中可能是 $(-2,1,4)$。如果我们直接把这两个特征拼在一起，模型会困惑：这是同一个点还是两个不同的点？

但经过对齐后，两个相机中杯子的3D坐标是完全一致的。模型可以直接建立跨视角的几何对应关系，大大提升了空间理解能力。

2.3 顶点频谱 (Vertex Spectrum)

如果你的相机没有深度图怎么办？我们提出了顶点频谱来解决这个问题。

核心思想是：为每个像素采样一组可能的深度值：

$$d_j=d_{min}+(d_{max}-d_{min})\cdot \frac{j(j+1)}{M(M+1)}$$

其中 $j=1,2,...,M$，$[d_{min},d_{max}]$ 是工作空间的深度范围。这里的采样方式采用线性递增离散化（LID），让深度假设在近处更密集、远处更稀疏，更符合实际场景的分布。

每个 $(u,v,d_j)$ 组合都可以反投影并变换到BEV坐标系，形成一个3D坐标网格。这个网格经过编码后加到对应的RGB特征上，实现了"无深度也能有3D感知"。

2.4 BEV图像构建与网络架构

BEV图像构建

我们采用类似自动驾驶中BEV感知的思路。将所有相机的彩色点云进行俯视正交投影，生成一张BEV图像：

• 选择工作空间上方的一个俯视视角
• 将1.5米 $\times$ 1.5米的区域栅格化为 $224\times 224$ 的BEV图像
• 每个像素的值来自该位置最高点的RGB颜色
• 同时生成一张像素对齐的高度图（或顶点图）

为什么要这么做？看下面的示意图：

相机视角A（倾斜30°）      →    投影到BEV    →    几乎相同的BEV图像
相机视角B（倾斜60°）      →    投影到BEV    →    几乎相同的BEV图像

无论相机怎么摆，BEV图像都是"从上往下看"的！ 这样就实现了视角不变性。模型不再需要适应不同相机的视角变化，只需要理解BEV空间中的几何关系。

整体网络架构

我们的架构非常清晰：

1. 多视角编码：每个相机的RGB图 + 对齐顶点图/频谱 → 通过VLM编码器提取特征
2. BEV编码：合成的BEV RGB图 + 对应的顶点图 → 通过另一个编码器提取特征
3. 语言编码：语言指令 → 文本编码器
4. 特征融合：所有特征汇聚在一起
5. 动作生成：使用流匹配（Flow Matching）专家模型生成动作块

流匹配的目标函数如下：

$${\mathcal{L}}_{FM}={\mathbb{E}}_{\sigma ,{\mathbf{a}}_1,{\mathbf{a}}_0}\left[{\Vert {\mathbf{v}}_{\theta }(\sigma {\mathbf{a}}_1+(1-\sigma ){\mathbf{a}}_0,\sigma ,{\mathbf{c}}_t)-({\mathbf{a}}_1-{\mathbf{a}}_0)\Vert }^2\right]$$

简单来说，它学习一个向量场，将高斯噪声平滑地"流"向真实动作分布，比传统的扩散模型更高效。

2.5 数据对齐管线

为了让模型能够跨数据集、跨机器人训练，我们开发了一套完整的数据处理管线：

3D空间对齐：

• 使用GUI工具、ICP算法和基础模型（如DepthAnything V3）统一相机标定
• 将不同机器人的URDF模型注册到共享3D空间
• 强制统一工具中心点约定（TCP）：平行夹爪统一在指尖，灵巧手统一在手腕

轨迹时间对齐：

对于每段轨迹，我们计算：

• 平移位移：$\Delta L_t=\Vert {\mathbf{p}}_{t+1}-{\mathbf{p}}_t{\Vert }_2$
• 旋转位移：$\Delta {\theta }_t=2\arccos (|⟨{\mathbf{q}}_{t+1},{\mathbf{q}}_t⟩|)$

然后根据预设的标准速度重新计算时间间隔：

$$\Delta {\tau }_t=\max \left(\frac{\Delta L_t}{v_{std}},\frac{\Delta {\theta }_t}{{\omega }_{std}}\right)$$

这样，不同操作员"手速"的差异就被消除了，模型学到的是"标准节奏"下的动作模式。

---

三、实验验证

3.1 仿真实验

我们在两个仿真基准上进行了评估：LIBERO（单臂）和RoboTwin 2.0（双臂）。

结果1：标准设置下的性能

方法	LIBERO平均	RoboTwin Clean	RoboTwin Random
π₀	94.2%	46.4%	16.4%
X-VLA	98.1%	70.0%	39.0%
Dex-BEV	97.8%	76.0%	42.0%

在标准设置下，Dex-BEV在LIBERO上与SOTA持平，在RoboTwin（更具挑战性的双臂场景）上显著优于基线。

结果2：跨本体泛化

最关键的是，我们使用同一个模型权重直接在单臂（LIBERO）和双臂（RoboTwin）平台上评估，Dex-BEV依然表现出色。这说明我们的3D空间对齐有效消除了不同本体之间的表示差异。

而当我们做2D消融（移除所有3D输入和对齐）时，跨本体成功率大幅下降，进一步验证了核心贡献的有效性。

结果3：视角和场景布局泛化

我们对LIBERO的环境做了大幅度的扰动：

• 相机视角：在三个轴向上随机旋转（范围60°-140°）
• 相机距离：随机变化±0.5米
• 机器人基座位置：随机平移±10cm，旋转±5°
• 场景布局：桌子、物体位置随机扰动

在这种极端情况下，X-VLA的官方模型几乎完全失效（成功率<10%），而Dex-BEV仍然保持了约90%的成功率。这直观地证明了BEV表示的视角不变性。

3.2 真实世界实验

我们在四个不同的真实机器人平台上进行了测试：

平台	任务	π₀	X-VLA	Dex-BEV
Agilex	折叠快递盒	43.3%	56.7%	76.7%
Agilex	折叠衣物	66.7%	80.0%	93.3%
W1* (灵巧手)	舀爆米花	60.0%	70.0%	86.7%
W1 (夹爪)	递书	40.0%	70.0%	93.3%
A1	折叠衣物	63.3%	76.7%	96.7%

这些任务各有难点：

• 折叠快递盒：刚性关节物体的精确折叠
• 折叠衣物：可变形物体的操作
• 舀爆米花：颗粒状物体的处理 + 工具使用
• 递书：人机交互，需要跟踪人的手部动态

Dex-BEV在所有任务上都取得了显著的性能提升。

更重要的是，我们观察到了几个令人兴奋的现象：

零样本泛化：模型只用白色XL码T恤训练，却能成功折叠灰色、绿色、S码、XXL码等完全未见过的衣物。

动态扰动鲁棒性：在舀爆米花任务中，实验人员会故意移动目标杯。Dex-BEV能实时感知位移，重新规划轨迹，完成抓取。

连续操作：在折叠快递盒任务中，模型能连续完成3-5个盒子，中间无需复位。

---

四、局限性与未来方向

4.1 当前局限

1. 依赖相机标定：在非结构化环境中，精确的外参难以获得。虽然我们可以用3D重建基础模型来估计，但这些模型在实时性上还有待提升。

2. 计算开销：构建BEV图像和处理多视角特征需要额外的计算资源。

3. 深度处理：当前基于深度假设的方法存在离散化误差，在精细操作场景中可能不够精确。

4.2 未来工作

1. 世界-动作模型：扩展Dex-BEV预测未来的3D状态，实现"想象中的试错"。

2. 移动操作：解锁轮式移动能力，从桌面操作走向全屋尺度操作。

3. 多机器人协作：利用统一的BEV坐标映射，实现多个机器人共享空间认知。

4. 多模态感知：引入力觉、触觉、听觉反馈，构建更鲁棒的操作系统。

---

五、总结

在这项工作中，我们提出了Dex-BEV，通过3D空间对齐这一核心思想，利用BEV表示作为统一接口，解决了端到端操作策略中的泛化和鲁棒性问题。

关键亮点可以总结为：

与其让模型适应各种视角、各种机器人、各种操作速度，不如把它们全部"翻译"到同一个3D空间中，让模型在这个统一空间中学习。

实验证明，Dex-BEV在仿真和真实场景中都显著优于现有SOTA方法，展现了出色的跨本体、跨视角泛化能力。

代码和数据管线已开源，欢迎访问我们的项目主页了解更多细节。

---