论文解读：BridgeACT——机器人如何只看人类视频，就学会在真实世界中操作物体

jxwd

73人浏览 · 2026-09-15 21:05:28

jxwd · 2026-09-15 21:05:28 发布

如果让一个人学习“打开烤箱”，通常不需要先收集几百次与自己手臂结构完全一致的示范。我们只要看到别人握住把手、沿着合适的方向拉动，就能迅速理解这项操作。真正被我们记住的，并不是示范者每个关节转过多少角度，而是几个更本质的问题：应该接触哪里，谁在作用于谁，接触之后又该怎样运动。

在这里插入图片描述

机器人学习长期面临一个近乎相反的局面。人类操作视频数量巨大、场景丰富，也很容易继续收集，但这些视频往往无法直接变成机器人的动作标签。人手和夹爪的结构不同，人的关节轨迹与机械臂控制空间也不同；再加上相机运动、遮挡和深度缺失，简单模仿画面里的手部轨迹，通常并不能让机器人完成同样的任务。

BridgeACT 给出了一条很有启发性的思路：不要强行让机器人模仿人的动作，而是先从人类示范中提取与身体结构无关的“可供性”，再把可供性转译为机器人动作。 这里的可供性不是一张只告诉机器人“这里可以抓”的热力图，而是一套能够真正驱动执行的三维表示。它同时回答“在哪里操作”“谁作用于谁”和“接下来怎么动”，并把单物体操作与物体—物体交互放在同一个框架中处理。

本文将从动机、完整方法、实际价值与实验结果四个部分展开。重点不是记住模型名称，而是理解一种更一般的机器人学习思想：跨形态迁移的关键，往往不是直接对齐动作，而是寻找任务双方都能共享的中间语言。

一、为什么人类视频很多，机器人却不能直接照着学

机器人数据一直很贵。一次真实机械臂示范不仅要占用设备和场地，还需要完成相机标定、状态记录、动作同步、安全保护以及失败样本清理。换一个机器人平台，原来的关节角、末端位姿甚至夹爪动作都可能无法直接复用。相比之下，人类视频几乎随处可见：第一视角数据集里有开门、拿取、放置、切割等大量日常操作，互联网上更不缺各种教学和操作视频。

困难在于，人类视频只是“观察”，并不是机器人可以直接监督学习的“动作”。同样是拿起杯子，人可能用五指包住杯壁，平行夹爪则只能从两侧夹紧；人手的腕部转动、机械臂末端的六自由度位姿和灵巧手的关节控制也不在同一个空间中。即使强行追踪人手，也无法把一段像素坐标轨迹唯一地还原成可执行的机器人控制命令。

第一视角视频还带来一个更隐蔽的问题：相机通常随人的头部一起运动。画面中杯子向左移动，可能是杯子真的动了，也可能只是人转了头。此时，物体在图像中的绝对轨迹并不稳定。真正稳定的，是交互关系：手接触了杯子的什么位置，杯子相对桌面怎样变化；刀作为工具，怎样相对水果移动；杯子作为工具，又怎样相对容器倾斜。

已有路线大致解决了问题的一部分。有些方法混合人类数据和机器人数据，或者先从人类视频学习先验，再使用少量机器人示范适配。这类方法能提升数据利用率，却仍没有摆脱机器人数据。另一类方法预测交互区域，告诉机器人哪里可能被操作，但输出大多停留在视觉感知层面，不能直接转化为三维运动。还有一些方法预测二维或三维点轨迹，虽然比热力图更接近执行，却常常只描述被操作物体本身，没有显式区分“谁是工具、谁是目标”，也容易把抓取前和抓取后的过程割裂开来。

BridgeACT 的出发点就是重新定义需要迁移的内容。它认为，从人类视频中真正值得迁移的并非手部动作，也不是某个物体孤立的轨迹，而是带有功能角色的交互结构：

任务相关的可操作区域在哪里；
哪个实体充当工具，哪个实体是被作用的目标；
工具相对目标应该产生怎样的三维运动。

这三个问题分别对应“在哪里操作”“谁作用于谁”“如何运动”。其中，前两个问题决定交互语义，第三个问题提供执行几何。三者合在一起，才构成所谓的可执行工具—目标可供性。

这种定义还能自然统一两类任务。在打开烤箱、拿起杯子等单物体操作里，训练阶段的“工具”是人的手，部署阶段则换成机器人末端执行器，“目标”是烤箱门或杯子。在切水果、倒水等物体—物体交互里，刀或杯子是工具，水果或容器是目标。变化的是执行载体，不变的是功能角色以及工具相对目标的运动关系。因此，系统不必学习“这只手该怎么动”，而是学习“充当工具的实体应如何作用于目标”。这就是跨越人机形态差异的桥梁。

二、核心方法：把视频变成可执行的工具—目标三维运动

整个流程可以理解成一条完整的翻译链：先把原始人类视频自动加工为统一的三维点流数据，再在新场景中找到任务相关的工具与目标区域，随后由条件扩散模型预测这些区域未来的三维运动，最后通过刚体配准把点流翻译成机械臂末端动作。它不是一个单独的网络，而是一套从数据、表示到控制闭环相互咬合的系统。

在这里插入图片描述

2.1 自动构建训练数据：先解决“人类视频该怎样标注”

训练数据来自两部分：大规模公开人—物交互数据和自行采集的人类操作视频。公开数据覆盖 open、close、pickup、place、push、pull 六类可供性，自采数据补充 pour、press、hang-on、cut 四类，总计十类操作。最终数据规模超过 400 个场景、3000 段视频和 6 万个短片段，而且训练过程中不需要任何机器人示范。

在这里插入图片描述

原始视频首先被切成固定长度片段。每个片段持续 1.5 秒，下采样为 4 帧，相邻滑动窗口之间的时间步长为 0.5 秒。这样做既保留局部操作动态，又把不同长度的视频转换成较稳定的短时运动单元。随后，系统通过三个阶段把来源各异、标注程度不同的视频统一成同一种监督格式。

第一阶段是任务理解。系统从一段视频中均匀抽取 10 帧交给视觉语言模型，由它判断正在发生什么操作、涉及哪些实体，并把实体整理成明确的工具—目标角色。如果画面中只有一个被操作物体，就把人的手补充为默认工具。物体名称、动作类别和角色关系随后被写入统一文本模板，成为后续模型的语言条件。这里使用大模型的目的不是直接生成机器人轨迹，而是将杂乱自然语言和视觉内容压缩成稳定、结构化的任务描述。

第二阶段是二维区域与轨迹提取。如果数据本身带有物体标注，就直接使用已有掩码；没有标注时，则用 SAM3 根据实体描述分割工具和目标。系统在掩码内部均匀采样若干点，再通过 CoTracker3 跨帧跟踪，得到工具点和目标点的稠密二维轨迹。与只跟踪一个物体不同，这里会一直保留两组角色明确的点，因为真正有迁移价值的是二者之间的相对运动。

第三阶段将二维轨迹提升到三维。如果视频带有可靠的三维标注或物体位姿，就直接恢复三维轨迹；否则结合估计深度与相机几何，把像素点反投影到三维空间。之后还要统一清洗：把人手近似成夹爪式结构，删除孤立点簇与悬浮离群点，只保留中心交互区域中的有效点。最终，每个训练样本写成：

$O=\{P_{\text{scene}},Q_{\text{tool}},Q_{\text{target}},l\}。$

其中， $P_{\text{scene}}$ 表示带有三维坐标与颜色的场景点云， $Q_{\text{tool}}$ 和 $Q_{\text{target}}$ 分别是从工具区域与目标区域中采样的查询点， $l$ 则为任务语言指令。。这个格式非常关键：无论数据来自带三维标注的公开数据集，还是只有普通 RGB 视频的自采数据，最终都被转成“场景、角色查询点、语言、未来三维运动”这一共同接口。

从工程角度看，这一步的价值甚至不亚于模型本身。系统把 VLM、分割、点跟踪、深度恢复和数据清洗串成了自动管线，使人类视频可以持续转化为可训练样本。未来若扩展到更大规模的网络视频，真正需要扩展的是这条数据管线，而不是重新设计一套机器人动作标注体系。

2.2 部署时的可供性定位：不只“分到物体”，还要找对操作部位

在这里插入图片描述

训练样本中已经知道工具与目标在哪里，但机器人面对一个全新场景时，只有当前 RGB-D 观测和一句任务指令。为此，BridgeACT 设计了一个轻量的任务条件可供性定位模块。它不直接输出动作，而是先把抽象指令转换成当前场景中的具体可操作区域。

首先，多模态大模型把原始指令规范化。例如，“把它打开”这种依赖上下文的表达，需要被还原成明确的任务、物体和动作关系。随后，模型继续解析物体描述、任务相关部位以及可供分割模型使用的提示词。换句话说，它不是只问“画面中哪个是烤箱”，还要理解真正应该交互的是烤箱把手或门板上的合适区域。

接下来，SAM3 根据提示词分别生成工具掩码 $M_{\text{tool}}$ 和目标掩码 $M_{\text{target}}$ 。但视觉上匹配文本，不代表功能上一定可操作。例如，分割结果可能覆盖整个杯子，却没有突出适合夹取的杯壁区域；也可能定位到刀刃，而真实抓取部位应该是刀柄。因此系统额外引入视觉语言验证器，检查掩码是否满足当前任务的功能要求。

如果第一次定位不准确但仍可恢复，系统最多执行一次重新定位。恢复策略通常会把过细、容易失败的部件描述放宽为更稳定的物体级描述或更大的空间区域。这种“一次验证、一次修正”的设计很务实：完全开放的多轮反思会增加推理延迟，也可能让结果来回震荡；只保留一次恢复，则能在成本和鲁棒性之间取得平衡。

通过验证的二维掩码最终被投影到场景点云中，形成三维查询区域 $Q_{\text{tool}}$ 与 $Q_{\text{target}}$ 。 至此，抽象任务已经变成一组带角色的三维锚点，后面的模型不再面对模糊的整幅图像，而是围绕真正参与交互的局部几何进行预测。

2.3 保留查询点，而不是把一切压进一个特征向量

有了场景点云和两组查询点后，下一步是构造与机器人形态无关的可供性表示。场景点记为：

$P=\{(\mathbf{x}_j,\mathbf{c}_j)\}_{j=1}^{N_s},$

其中 $\mathbf{x}_j\in\mathbb{R}^3$ 是三维坐标， $\mathbf{c}_j\in\mathbb{R}^3$ 是 RGB 颜色。工具与目标查询点分别记为：

$Q_{\text{tool}}=\{\mathbf{q}^{\text{tool}}_i\}_{i=1}^{N_t},\qquad Q_{\text{target}}=\{\mathbf{q}^{\text{target}}_i\}_{i=1}^{N_g}。$

一个容易被忽视的设计是，查询点不会在网络入口处就被压缩成某个全局潜变量，而是作为显式几何锚点贯穿编码和预测过程。原因有两个。第一，查询点既是条件也是预测对象：模型最终要输出的正是每个查询点未来怎样移动。若过早把它们压成全局特征，输入锚点与输出点流之间的逐点对应关系会被削弱。第二，场景点和查询点并不完全同质。场景点包含坐标与颜色，用来表达环境几何和外观；查询点主要提供空间位置与功能角色，并不需要伪造 RGB 属性。

因此，场景点与查询点先分别嵌入。场景点使用坐标和颜色，查询点使用坐标及位置编码 $\gamma(\mathbf q)$ 。然后把场景 token、工具查询 token 和目标查询 token 拼接，送入 PointNeXt 编码器—解码器：

$\mathbf H=f_{\mathrm{dec}}\big(f_{\mathrm{enc}}(P,Q_{\text{tool}},Q_{\text{target}})\big)。$

解码器恢复到原始点分辨率后，只取出查询点对应的特征：

$\mathbf H_Q=\mathbf H\mid_{Q_{\text{tool}}\cup Q_{\text{target}}}。$

这样得到的 $\mathbf H_Q$ 保留了每个工具点和目标点在场景中的局部几何关系。语言指令 $l$ 则由 CLIP 编码为 $\mathbf z_l$ ，并在点云骨干网络之后进行后融合：

$\mathbf C=\mathrm{Fuse}(\mathbf H_Q,\mathbf z_l)。$

采用后融合并非只是一种实现偏好。点云骨干更擅长建模几何邻域，并不天然擅长文本语义对齐。让它先完成几何编码，再在高层特征上加入语言条件，既能保住三维结构，也能避免语言过早干扰局部几何学习。后面的消融结果也验证了这一点：后融合整体上优于或不差于早融合，尤其在更复杂的 PTv3 骨干上差距明显。

2.4 用条件扩散生成三维点流：不仅预测下一步，还要控制长期漂移

最终需要预测的是每个查询点未来若干时刻的相对三维位移。相同任务可能存在多个合理动作，例如拿杯子时可以从不同方向接近，切割也可能有不同但有效的运动轨迹。单次回归容易把多种解平均成一条并不真实的路径，因此这里使用基于 Transformer 的条件扩散模型生成运动可供性。

具体来说，查询条件 $\mathbf C$ 先被投影为一个条件 token，加入噪声的位移轨迹则被整理为一串时间步 token，二者拼接为：

$[\mathbf c_{\text{cond}};\mathbf x_k^{1:m}]。$

$\mathbf x_k^{1:m}$ 表示扩散第 $k$ 步下的含噪位移序列， $m$ 是未来运动长度。整串 token 送入 Transformer Encoder，通过自注意力让位移 token 与条件 token 交互。这里采用的是前缀 token 条件，而不是额外搭建 cross-attention：几何与语言信息被放在序列开头，后续轨迹 token 在统一自注意力中读取条件。

基础训练目标是预测加入轨迹的高斯噪声：

$\mathcal L_{\text{diff}}= \mathbb E_{k,\boldsymbol\epsilon} \left[ \alpha(k)\left\| \boldsymbol\epsilon- \epsilon_\theta(\Delta\tilde Q^{1:m}(k),k,\mathbf C) \right\|_2^2 \right]。$

其中 $\alpha(k)$ 是 min-SNR 重加权系数，用来降低信噪比过高时间步对优化的过度支配。仅靠标准扩散损失还不够，因为点流数据中往往包含大量静止或近乎静止的点。模型如果把大部分点都预测为零位移，也可能获得看似不错的平均损失，却没有真正学会有效交互。因此，系统加入 运动感知加权：真实位移越大的查询点，训练权重越高；几乎不动的点则适当降权，迫使模型把能力用在真正决定动作的区域上。

另一个问题是累计漂移。假设每一步的误差都不大，但连续积分以后，最终位置仍可能偏离很多。为此，训练目标同时约束局部步进和相对初始帧的累计位移。对第 $i$ 个查询点，真实累计位移和预测累计位移分别写成：

$\mathbf s_i^t=\mathbf q_i^t-\mathbf q_i^0,\qquad \hat{\mathbf s}_i^t=\hat{\mathbf q}_i^t-\hat{\mathbf q}_i^0。$

累计误差通过鲁棒回归函数 $\rho(\cdot)$ 计算：

$r_i=\rho(\hat{\mathbf s}_i^{1:m}-\mathbf s_i^{1:m}),\qquad w_i=g\left(\frac{1}{m}\sum_{t=1}^{m}\|\Delta\mathbf q_i^t\|\right)，$

其中 $g(\cdot)$ 是单调递增函数，因此平均运动越明显，权重 $w_i$ 越大。局部步进损失与累计损失分别为：

$\mathcal L_{\text{step}}= \frac{1}{N_q}\sum_{i=1}^{N_q}\sum_{t=1}^{m} \left\|( \hat{\mathbf q}_i^t-\hat{\mathbf q}_i^{t-1})- \Delta\mathbf q_i^t \right\|_2^2，$

$\mathcal L_{\text{acc}}= (1-\lambda)\frac{1}{N_q}\sum_{i=1}^{N_q}r_i+ \lambda\frac{\sum_{i=1}^{N_q}w_ir_i}{\sum_{i=1}^{N_q}w_i}，$

这里 $N_q=|Q_{\text{tool}}\cup Q_{\text{target}}|$ 。最终目标把扩散去噪、逐步运动和累计轨迹三者结合：

$\mathcal L(\theta)= \lambda_{\text{diff}}\mathcal L_{\text{diff}}+ \lambda_{\text{step}}\mathcal L_{\text{step}}+ \lambda_{\text{acc}}\mathcal L_{\text{acc}}。$

这组损失体现了一个非常实用的建模思路：扩散目标负责学习多模态运动分布，步进损失保证局部运动方向正确，累计损失抑制长序列漂移，运动感知权重则避免静止点淹没有效动态。几部分解决的并不是同一个问题，组合起来才让生成的三维点流既合理又可执行。

2.5 从点流到机械臂动作：用简单控制器完成最后一公里

模型输出的仍是查询点未来的三维运动，不是机械臂关节命令。BridgeACT 没有再训练一个庞大的动作头，而是利用显式几何表示完成转换。抓取阶段直接调用现成的抓取模块，找到可行的接触前抓取位姿；运动阶段则把被操作区域中的查询点视为局部刚体，通过类似 ICP 的刚体配准，让当前点集与预测后的点集尽可能对齐。

这个配准问题可以通过 SVD 高效求解，得到一个位于 $S E (3)$ 中的刚体变换，即末端执行器所需的三维平移和旋转。机械臂执行一小段动作后重新观察场景，再次定位并预测点流，重新估计下一段刚体变换，由此形成闭环。它不是一次性把整条长轨迹执行到底，而是在每一步根据新观测修正运动，可以减轻感知偏差、夹取误差和真实接触带来的累积影响。

这一步说明了显式三维中间表示的优势。因为输出本身具有清晰几何含义，它不仅能接当前的 SVD 配准控制器，也能替换为轨迹优化器、模型预测控制器或其他规划模块。学习模块负责告诉机器人“局部交互应该怎样发生”，控制模块负责结合具体机器人把它实现出来，两者不必捆死在同一种硬件上。

三、这套方法核心作用——从单物体操作走向统一的交互接口

BridgeACT 最直接的价值，是证明了只使用人类视频训练，也能够把学到的操作知识迁移到真实机械臂，而且不仅覆盖“抓起来”这种简单动作，还覆盖打开、关闭、倾倒、切割等包含方向、旋转或物体—物体关系的操作。它把机器人学习拆成两个互补问题：抓取可供性解决“在哪里接触”，运动可供性解决“接触后怎样运动”。这样，系统覆盖的是从接近、抓取到后续操作的完整流程，而不是默认物体已经被抓住。

更值得关注的是统一性。在单物体任务中，人的手和机器人夹爪虽然外形不同，却都可以被抽象成“工具”；在物体—物体任务中，夹爪先抓住刀或杯子，随后被抓物体又成为新的工具。于是，“打开烤箱”“拿起杯子”“用杯子倒水”“用刀切水果”不再需要四套完全独立的动作定义，而可以写成工具、目标、可操作区域和相对运动的不同组合。

这种组合视角也为复杂任务提供了扩展方向。长时序操作可以被分解为多个可供性操作：先定位并抓住杯子，再把杯子移动到容器上方，随后按照工具相对目标的倾斜运动执行倒水。虽然当前系统重点验证的是局部技能，而不是完整的长时序自主规划，但这种表示天然可以与上层任务规划器结合。规划器负责选择下一项“工具—目标”操作，BridgeACT 一类的底层模块负责生成可执行三维运动。

它对数据规模化同样有现实意义。机器人数据的价值很高，却很难像互联网视频一样快速增长。若能把人类视频自动转成三维交互监督，新的物体、视角、场景与操作方式就能不断进入训练集。系统并不要求每段视频都有同样的标注：有三维姿态时直接利用，没有时通过深度和相机几何恢复；有物体掩码时直接读取，没有时自动分割。这种对异构数据的兼容能力，是迈向更大规模训练的必要条件。

不过，它的用途并不只是“省掉机器人数据”。工具—目标可供性实际上是一种模块化接口：上游可以接人类视频、第一视角数据甚至互联网视频，下游可以接不同形态的机械臂和控制器。只要中间的三维查询点与相对运动定义保持一致，感知模型、生成模型和执行模块都可以独立升级。对真实机器人系统而言，这种可替换性往往比端到端模型的短期指标更重要。

四、真实机器人结果和消融结论

真实机器人实验使用侧置 Intel RealSense D435 获取视觉信息，执行平台为 Franka 机械臂与 UMI 夹爪。推理时还通过 RoboEngine 去除画面中的机器人手臂，减少机器人自身点云对场景建模的干扰**。根据可供性定位模块给出的掩码，系统从工具和目标区域共采样 128 个查询点，按 3:1 的比例分配。运动生成器训练 2000 个 epoch，在 8 张 NVIDIA H100 上耗时约一天。**

测试覆盖六类运动可供性，对应六个真实任务：拿起杯子、放置杯子、打开烤箱、关闭烤箱、倒水和切水果。比较对象包括 ReKep、Track2Act 与 General Flow。ReKep 依赖视觉关键点和层次化优化来生成动作；Track2Act 从二维观察预测流；General Flow 也使用局部点级运动表示，因此是最直接的点流基线。由于 General Flow 本身不显式建模抓取，比较时需要人工把夹爪放到物体上并闭合，从抓取后的阶段开始执行。需要训练的基线则在相同监督条件下重新训练或微调，以尽量保持公平。

方法	Pickup	Place	Open	Close	Pour	Cut
ReKep	5/10	4/10	—	—	2/10	0/10
Track2Act	4/10	1/10	0/10	0/10	0/10	0/10
General Flow	10/10	6/10	7/10	6/10	0/10	2/10
BridgeACT	10/10	8/10	8/10	9/10	4/10	4/10

结果中最容易看见的是，BridgeACT 在六项任务上都取得了最优结果或并列最优。更重要的是不同方法失败的方式。ReKep 对关键点定位和语义是否正确较为敏感，而且关键点约束容易生成近似直线的笛卡尔运动，遇到开关烤箱这类需要推断旋转轴的关节物体时会受到限制。Track2Act 的二维流缺少稳定的三维几何约束，遮挡或沿相机深度方向运动时，二维到三维的歧义会累积成明显执行误差。General Flow 能较好处理部分点流任务，但没有覆盖抓取阶段，CVAE 式生成对复杂接触运动的表达也弱于扩散模型。

轨迹可视化进一步说明了区别。在域内的关闭动作中，正确几何应体现旋转结构：外侧点运动距离更长，内侧点更短。General Flow 出现了相反的空间模式，而 BridgeACT 更好地保持了这种几何差异。在域外的篮子拿取任务中，General Flow 甚至把本应向上的提起运动预测成侧向运动，BridgeACT 则仍能保持正确的操作语义。这里的优势来自两方面：角色明确的局部表示减少了无关运动干扰，扩散生成也比单峰或平均化倾向更强的生成方式更适合复杂轨迹。

为了检验零样本泛化，系统又选择 pickup、open、cut 三类代表性任务，在更换物体和更换场景两种条件下测试：

在这里插入图片描述

方法	跨物体 Pick	跨物体 Open	跨物体 Cut	跨场景 Pick	跨场景 Open	跨场景 Cut
ReKep	5/10	—	2/10	4/10	—	1/10
Track2Act	3/10	0/10	0/10	2/10	0/10	0/10
General Flow	10/10	6/10	1/10	9/10	4/10	0/10
BridgeACT	10/10	7/10	3/10	10/10	6/10	2/10

在未知物体与未知场景中，BridgeACT 都保持了最稳定的整体表现。拿取任务已经相当可靠，跨物体与跨场景均达到 10/10；打开任务分别达到 7/10 和 6/10；最困难的切割虽只有 3/10 和 2/10，但仍高于其他方法。这说明模型学习到的不只是训练物体外观，而是具有一定可迁移性的交互结构。当然，切割结果也提醒我们，工具—目标抽象并不会自动消除精细接触控制的困难。

消融实验使用三维平均位移误差 ADE 和最终位移误差 FDE 衡量点流质量，并比较点云骨干、文本融合方式以及运动加权损失：

配置	ADE ↓	FDE ↓	参数量 ↓
PTv3 + Early Fusion	0.0596	0.0829	51.25M
PTv3 + Late Fusion	0.0445	0.0614	51.25M
PointNeXt + Early Fusion	0.0380	0.0504	8.89M
PointNeXt + Early + WLoss	0.0354	0.0472	8.89M
PointNeXt + Late + WLoss	0.0350	0.0468	8.89M

Point Transformer v3 参数更多、计算成本更高，训练吞吐也低于 PointNeXt。它的优势是优化更稳定、收敛更快，并且不同随机种子之间方差更小；但在相同训练集和 2000 个 epoch 的条件下，PointNeXt 最终指标反而略好，而且参数量仅为 8.89M。文本后融合在 PTv3 上带来明显提升，在 PointNeXt 上基础结果与早融合相当；加入运动感知加权损失后，误差进一步下降，最佳配置是 PointNeXt、后融合与加权损失的组合。消融结果与方法动机形成了闭环：先让点云网络专注几何，再注入语言；同时提高有效运动点的训练权重，确实能得到更准确的三维点流。

五、尚未解决的问题

当前系统仍有两类明确短板。第一是旋转运动。旋转轴、半径和方向需要稳定的三维几何推断，而人类视频中的遮挡、视角变化与深度误差会放大这一难度。第二是精细操作。切割、精确插入等任务对接触位置、作用力和控制精度要求很高，仅依赖局部刚体假设与位姿跟随还不够。现有表示擅长描述“应该怎样动”，但尚未显式建模接触力、摩擦、柔性物体变化和更细粒度的手内操作。

因此，BridgeACT 更像是一块已经能够落地的中间层，而不是所有操作问题的终点。未来可以在它上面加入旋转等变的几何建模、力觉反馈、接触状态估计、更强的闭环控制以及长时序规划。它最值得带走的结论并不是某个具体网络胜过了另一个网络，而是：当人类数据和机器人动作无法直接对齐时，先寻找“任务真正依赖什么”，再把这些稳定因素做成可执行的中间表示。 工具—目标角色保留了交互语义，三维查询点保留了空间对应，扩散模型表达多种合理运动，闭环几何控制完成硬件落地。正是这几层接口的组合，让“机器人看人类视频学习”从一句宏大口号变成了一条可以逐步实现、逐步扩展的技术路线。

参考来源：BridgeACT: Bridging Human Demonstrations to Robot Actions via Unified Tool-Target Affordances