T-WAM——融合视觉-触觉的世界动作模型：在统一的流匹配框架下联合学习未来视觉预测、触觉形变预测以及动作预测(且在插入透明导管场景中增大触觉的权重)

v_JULY_v

65人浏览 · 2026-07-12 15:42:05

v_JULY_v · 2026-07-12 15:42:05 发布

前言

26年7.10日，我在朋友圈说道，建议大厂们发预训练模型的时候，尽量选择具备一定实用价值的任务，以作为验证预训练模型的能力，老是做一些千篇一律的桌面收纳，都无感了

那什么样的任务是实用的呢，比如下图中的这些场景(图源：我视频号主页上的介绍)

这就有点像25年大家都在各种卷单纯的locomotion、跳舞、打拳、跑马拉松、上下楼梯，后来很多人就厌倦了，于是终于开卷相对实用的loco-mani(当然，话说回来，loco-mani要想做得好，离不开足够稳定的locomotion)

对于我司七月而言，未来几年侧重为机器人落地造垂直大脑，故最关注的还是插拔、装配这类更实用的工作，比如本文要介绍的T-WAM
而非单纯的前沿比如单纯追WAM 其实意义也不大，毕竟无论是VLA还是WAM，它两之间并非绝对的冲突、对立，一方面可以融合二方面技术都只是工具

第一部分 VT-WAM: Visual-Tactile World Action Model for Contact-RichManipulation

1.1 引言与相关工作

1.1.1 引言

如原论文所述，富接触操作在机器人操作中构成了一项核心且长期存在的挑战，也是实现实际部署的关键

不同于空域操作，此类任务依赖于局部的交互状态，包括形变、压力、滑移和摩擦
这些状态在视觉观测中通常仅弱可见、瞬时存在或被遮挡，从而使得在执行过程中需要基于触觉进行调整的场景下，仅依赖视觉的策略 [1], [2] 变得不可靠
最新的视觉-触觉策略 [3], [4], [5] 将触觉传感引入动作预测之中，并在高接触（contact-rich）任务上取得了进展

然而，这些策略往往未能充分挖掘触觉信息 [6]
原因在于，高接触操作主要依赖于局部接触的演化，而非整体场景的变化

具体而言，如图 1(a) 所示，触觉变形仅在短暂的接触阶段发生演化并提供力反馈。相比之下，视觉观测在大多数帧中都能提供密集的场景级信息。这种在信息可得性上的时间不均衡导致在联合训练过程中，神经网络更偏向利用视觉证据，而触觉信号则处于未被充分利用的状态

为了解决这一问题，作者的关键洞见是将动作预测与触觉演化相耦合，使策略能够在接触阶段利用触觉变化。最近，世界动作模型（World Action Models，WAMs）通过将动作预测与视频预测相结合，实现了对世界动态的预测能力 [7], [8], [9]

在世界动作模型的基础上，来自的研究者提出了 VT-WAM，这是一种视觉-触觉世界动作模型，在统一的流匹配框架下联合学习未来视觉预测、触觉形变预测以及动作预测

具体而言，VT-WAM 包含两个核心模块，使触觉动态对于动作预测变得有用

非对称 MoT 注意力（AsymmetricMoT Attention）将动作 token 分别路由到第一帧视觉锚点以获取场景上下文
以及路由到完整的触觉序列以捕捉接触演化过程

这样一来，在不丢弃接触阶段所需触觉动态信息的前提下，就能够启用视觉缓存推理模式。接触门控 AVTAG 进一步通过只在训练阶段使用的 hinge排序损失来减弱视觉主导偏置，该损失鼓励动作查询在接触阶段关注触觉证据

这一辅助性引导使得当接触信息在物理上具有较高信息量时，该模型更多地依赖触觉动力学，而无需改变推理阶段的模型架构

1.1.2 相关工作

首先，针对密集接触操控的触觉策略

触觉传感在富接触操作中非常有用，因为它能够提供局部交互信息

现有的触觉策略通常以三种方式利用触觉信号

一类工作在扩散策略（diffusionpolicies）[1] 上加入触觉条件，包括 FARM [10]、TacDiffusion [11]、PolyTouch [12] 和 KineDex[13]
另一类工作则开发利用触觉或力反馈进行在线接触校正的反应式或双系统策略，包括 RDP[3]、Force Policy [14] 和 M2-ResPolicy [15]
最新的视觉-语言-动作（Vision-Language-Action,VLA）模型进一步将触觉反馈集成到大规模策略架构中，例如
BiTLA [16]
OmniVTLA [5]
VTLA[17]
Tactile-VLA [18]
TaF-VLA [19]
VLA-Touch [4]

除了将触觉观测作为策略输入之外，近期的视觉-触觉世界模型还显式预测接触的演化：
$\rightarrow$ VT-WM 在潜在递归状态空间中联合建模视觉和触觉观测，并利用所学习到的动力学进行规划 [20]；
$\rightarrow$ 而OmniVTA 则预测视觉-触觉的演化，并将预测得到的触觉融入自适应策略融合和反射控制中 [21]

————
这些方法表明，触觉形变对富接触任务具有重要价值，但触觉预测仍然是通过规划或下游动作模块被间接使用

相比之下，作者的 VT-WAM 在一个统一的 flow matching 目标中，将触觉预测与动作预测耦合起来，并采用非对称 MoT 注意力和接触门控引导，从而实现对触觉动力学敏感的动作预测

其次，对于用于操作任务的世界动作模型

与直接根据当前观测和语言指令预测动作的视觉-语言-动作（Vision-Language-Action, VLA）模型相比，世界动作模型（World Action Models, WAM）[22] 在动作预测中显式引入了未来状态预测

现有的 WAM 通常根据未来状态预测与动作预测耦合的方式，被组织为级联式和联合式两种架构

级联式 WAM 首先合成未来的视觉状态或中间计划，然后再从预测的未来中推导可执行的动作，具有代表性的方法包括
UniPi [23]
VLP[24]
RoboEnvision [25]
Dream4manip [26]
相比之下，联合式 WAM 在一个共享的生成目标下，同时学习未来动力学和动作预测，例如
Fast-WAM [9]
DreamZero [27]
Motus [28]
LingBot-VA [8]
GigaWorld-Policy [29]
UWM[7]

然而，现有的 WAM 主要建模用于动作预测的视觉动力学。VT-WAM 将 WAM 扩展到触觉形变动力学，使接触演化能够直接为动作预测提供信息

1.2 VT-WAM的完整方法论

VT-WAM 是一种用于高接触度操作任务的视觉-触觉世界行动模型（World Action Model）

在给定腕部相机观测 $O_v$ 、触觉形变观测 $O_t$ 、本体感觉状态 $s$ 、语言指令 $c$ 以及动作块 $A$ 的条件下，VT-WAM 在统一的流匹配（flow matching）框架中联合学习未来视觉预测、触觉形变预测以及动作预测

图 2 展示了 VT-WAM 的整体架构，包括视觉-触觉-动作专家主干网络、Asymmetric MoT Attention、接触门控 AVTAG，以及其训练与推理流程

a) 通过非对称 MoT 注意力连接三个模态特定专家，实现联合视觉-触觉-动作流匹配
b) 训练和推理过程中非对称 MoT 注意力中的注意力掩码
c) 具有关节接触门控的 AVTAG 在训练阶段施加仅用于训练的合页排序损失，鼓励动作查询在接触阶段优先利用触觉证据

1.2.1 VT-WAM 的架构

如图 2(a) 所示，VT-WAM 采用视觉-触觉-动作专家架构

视觉专家将腕部摄像头的 token 编码为全局场景上下文
触觉专家通过触觉形变 token建模局部接触演化
动作专家则基于视觉和触觉证据预测动作片段

非对称 MoT 注意力将三个专家连接起来，从而在一个骨干网络内实现联合的视觉、触觉与动作预测

VT-WAM 首先将每种模态映射为一个token 序列

腕部相机序列 $\mathbf{O}^{v} \in \mathbb{R}^{T_{v} \times 3 \times H \times W}$ 由Wan2.2 视频VAE [30]编码
并划分为视觉tokens $\mathbf{X}_{v} \in \mathbb{R}^{N_{v} \times d}$
触觉形变序列 $\mathbf{O}^{t} \in \mathbb{R}^{T_{t} \times 6 \times H_{t} \times W_{t}}$ 包含来自两个触觉表面的三维形变场
参考OmniVTA [21]，一个预训练的触觉VAE 将该序列编码为触觉tokens $\mathbf{X}_{t} \in \mathbb{R}^{N_{t} \times d}$
每个动作块 $\mathbf{A} \in \mathbb{R}^{S_{a} \times D_{a}}$ 通过线性投影为动作tokens $\mathbf{X}_{a} \in \mathbb{R}^{S_{a} \times d}$

语言指令和本体感受状态通过交叉注意力机制[31] 提供给每个expert

在第 $l$ 层非对称 MoT 注意力层中，每个专家都从其自身的 token 流中计算 query、key 和 value 张量。随后，这些张量按照视觉、触觉和动作 token 的顺序进行拼接：

$\begin{array}{c} \mathbf{Q}^{(l)}=\left[\mathbf{Q}_{v}^{(l)} ; \mathbf{Q}_{t}^{(l)} ; \mathbf{Q}_{a}^{(l)}\right] \\ \mathbf{K}^{(l)}=\left[\mathbf{K}_{v}^{(l)} ; \mathbf{K}_{t}^{(l)} ; \mathbf{K}_{a}^{(l)}\right] \\ \mathbf{V}^{(l)}=\left[\mathbf{V}_{v}^{(l)} ; \mathbf{V}_{t}^{(l)} ; \mathbf{V}_{a}^{(l)}\right] \end{array}$

非对称 MoT 注意力在以下范围内执行带掩码的注意力计算这个串联后的 token 序列：

$\begin{aligned} \mathbf{P}^{(l)} & =\operatorname{Softmax}\left(\frac{\mathbf{Q}^{(l)}\left(\mathbf{K}^{(l)}\right)^{\top}}{\sqrt{d}}+\mathbf{M}\right) \\ \mathbf{Y}^{(l)} & =\mathbf{P}^{(l)} \mathbf{V}^{(l)} . \end{aligned}$

这里 $\mathbf{P}^{(l)}$ 表示在视觉、触觉和动作token 上的注意力图， $\mathbf{M}$ 决定哪些query token 可以关注哪些key token。得到的输出 $\mathbf{Y}^{(l)}$ 给出了视觉、触觉和动作专家的更新token特征

经过不对称MoT 注意力层之后，模态特定的投影头在flow matching 目标下为视觉、触觉和动作token 预测速度场
视觉和触觉专家在训练过程中监督未来视觉预测和触觉形变预测，而动作头则生成用于控制的动作片段

1.2.2 非对称 MoT 注意力

非对称 MoT 注意力用于控制在 MoT [32] 层中，视觉、触觉和动作 token 之间的信息交换方式。该设计源于对高接触控制的两个需求

首先，腕部相机观测主要提供全局场景上下文，而触觉形变则为接触交互提供关键证据。因此，动作预测需要访问触觉序列，以捕捉接触的演化过程
其次，尽管触觉动力学对高接触控制至关重要，但在部署过程中对未来视觉 token 进行去噪会引入不必要的延迟
因此，VT-WAM 采用非对称读出：动作 token 关注触觉序列以获取接触动力学信息，但在视觉上仅关注首帧的视觉 token，以获得全局上下文

图 2(b) 展示了这种读出在训练和推理阶段是如何实现的

训练期间，VT-WAM 将视觉、触觉和动作分支保持在一个联合流匹配模型中，因此对未来视觉、触觉和动作的预测会被共同优化
推理期间，会去除未来视觉 token。触觉和动作分支使用首帧视觉锚点，而动作 token 则对正在去噪的触觉潜在序列进行注意力计算

这在保留接触动力学建模的同时，避免了未来视觉预测的成本

且作者在下文中形式化由非对称读出所使用的跨模态掩码

视觉token 被划分为首帧视觉锚点和未来视觉token
令 $F_{v}$ 表示首帧视觉token 的数量， $N_{v}$ 表示所有视觉token的数量
$N_{t}$ 表示触觉token 的数量
$S_{a}$ 表示动作token的数量

VT-WAM 按照 $\left[\mathbf{X}_{v} ; \mathbf{X}_{t} ; \mathbf{X}_{a}\right]$ 的顺序打包这些token，并应用分块注意力掩码 $\text { M }$ ，其中行对应被更新的查询token，列对应可作为信息源的键token。为0 的条目允许注意力，而 $-\infty$ 则阻止注意力。在每个专家内部保留同模态注意力，以下规则规定了跨模态的信息流动方式

对于视觉专家来说，触觉和动作键被屏蔽(mask out)，以确保局部接触形变和未来动作token不会修改视觉表征：

$\begin{aligned} \mathbf{M}_{v \rightarrow t} & =-\infty \cdot \mathbf{1}_{N_{v} \times N_{t}} \\ \mathbf{M}_{v \rightarrow a} & =-\infty \cdot \mathbf{1}_{N_{v} \times S_{a}} \end{aligned}$
对于触觉专家来说，在所有视觉token 中只有第一帧的视觉锚点是可见的
这样既能将触觉动态锚定在全局场景语境中，又能避免对未来视觉token 的依赖
同时，此读出掩模中，动作键也被屏蔽了

$\begin{aligned} \mathbf{M}_{t \rightarrow v} & =\left[\mathbf{0}_{N_{t} \times F_{v}} \mid-\infty \cdot \mathbf{1}_{N_{t} \times\left(N_{v}-F_{v}\right)}\right] \\ \mathbf{M}_{t \rightarrow a} & =-\infty \cdot \mathbf{1}_{N_{t} \times S_{a}} . \end{aligned}$
对于动作专家而言，该掩码会暴露第一帧的视觉锚点以及完整的触觉序列，从而与用于控制的视觉缓存推理模式相匹配：

$\begin{aligned} \mathbf{M}_{a \rightarrow v} & =\left[\mathbf{0}_{S_{a} \times F_{v}} \mid-\infty \cdot \mathbf{1}_{S_{a} \times\left(N_{v}-F_{v}\right)}\right] \\ \mathbf{M}_{a \rightarrow t} & =\mathbf{0}_{S_{a} \times N_{t}} . \end{aligned}$

因此，非对称 MoT 注意力既能保持视觉表征的稳定，又能在视觉上下文中对触觉动态进行约束（grounding），并为动作预测同时提供视觉锚点和接触演化信息

1.2.3 基于接触门控的动作-视觉-触觉注意力引导

尽管非对称 MoT 注意力机制允许动作 token 关注触觉 token，但联合训练仍可能更偏向视觉证据而非触觉证据

这是因为在富接触任务中，视觉信号与触觉信号之间存在不平衡

视觉观测在大多数帧上都能提供密集的场景级信息
相比之下，触觉变形具有局部性且在时间上稀疏：它主要在短暂的接触区间内才变得具有信息量，而在非接触阶段则较弱或几乎不激活 [21]

因此，在联合流匹配目标下，模型可以主要依赖视觉上下文来降低训练损失，却未充分利用在接触阶段至关重要的触觉动态信息

为缓解这一不平衡，VT-WAM 引入了动作-视觉-触觉注意力引导（Action-Visual-Tactile Attention Guidance，AVTAG），如图 2(c) 所示

AVTAG 在训练阶段额外增加了一个仅用于训练的辅助注意力目标，用于计算从动作查询到视觉和触觉证据的相对注意力
在接触阶段，它施加一个由接触信号门控的 hinge 排序损失，当相对触觉注意力低于相对视觉注意力时给予惩罚
这样就引导动作查询在局部物理交互具有信息量时，提高对触觉信息的注意力

AVTAG 从动作查询到视觉和触觉键构建一个辅助注意力分布。为清晰起见，作者省略层索引，并使用 $\mathbf{Q}_{a}$ , $\mathbf{K}_{v}$ 和 $\mathbf{K}_{t}$ 表示来自MoT Attention 层的动作查询以及视觉-触觉键

令 $\mathbf{K}_{\mathrm{vt}}=\left[\mathbf{K}_{v} ; \mathbf{K}_{t}\right]$ 表示拼接后的视觉和触觉键

为了在不直接改变视觉和触觉键表征的情况下引导动作查询，作者对 $\mathbf{K}_{\mathrm{vt}}$ 应用stop-gradient 并定义

$\mathbf{P}_{\mathrm{vt}}=\operatorname{Softmax}\left(\frac{\mathbf{Q}_{a} \operatorname{sg}\left(\mathbf{K}_{\mathrm{vt}}\right)^{\top}}{\sqrt{d}}\right)$

其中 $\operatorname{sg}(\cdot)$ 表示停止梯度（stop-gradient）。该辅助注意力仅用于AVTAG 损失，因此其梯度在引导动作查询的同时，使视觉和触觉键仍由主流的流匹配目标进行优化

对于每个动作token $r \in\left\{1, \ldots, S_{a}\right\}$ ，AVTAG 将分配给视觉键和触觉键的辅助注意力相加：

$\alpha_{v}(r)=\sum_{j \in \text { visual }} \mathbf{P}_{\mathrm{vt}}[r, j], \quad \alpha_{t}(r)=\sum_{j \in \text { tactile }} \mathbf{P}_{\mathrm{vt}}[r, j]$
随后将这两个量归一化为相对的视觉和触觉注意力权重：

$p_{v}(r)=\frac{\alpha_{v}(r)}{\alpha_{v}(r)+\alpha_{t}(r)}, \quad p_{t}(r)=\frac{\alpha_{t}(r)}{\alpha_{v}(r)+\alpha_{t}(r)}$
AVTAG 仅将该指导应用于接触阶段中的动作token
令 $\mathcal{C}$ 表示接触阶段的动作 token，它们通过明显的触觉形变来识别

辅助损失被定义为
$L_{\mathrm{AVTAG}}=\mathbb{E}_{r \in \mathcal{C}}\left[\max \left(0, p_{v}(r)-p_{t}(r)\right)\right]$

这种铰链排序损失在接触阶段惩罚视觉占主导的注意力，并且一旦 $p_{t}(r) \geq p_{v}(r)$ 便不再产生惩罚

1.2.4 训练目标与高效推理

首先，对于流匹配训练目标

VT-WAM 通过对视觉、触觉和动作 token 进行联合流匹配目标训练。视觉、触觉和动作专家分别预测其对应模态的速度场，从而得到

$L_{\mathrm{Flow}}=\lambda_{v} L_{v}+\lambda_{t} L_{t}+\lambda_{a} L_{a}$ $L_{v}=\mathbb{E}\left\|\hat{\mathbf{f}}^{v}-\mathbf{f}_{v}^{*}\right\|^{2}, \quad L_{t}=\mathbb{E}\left\|\hat{\mathbf{f}}^{t}-\mathbf{f}_{t}^{*}\right\|^{2}, \quad L_{a}=\mathbb{E}\left\|\hat{\mathbf{f}}^{a}-\mathbf{f}_{a}^{*}\right\|^{2}$

这里 $\hat{\mathbf{f}}^{v}$ 、 $\hat{\mathbf{f}}^{t}$ 和 $\hat{\mathbf{f}}^{a}$ 分别表示针对视觉、触觉和动作 token 的预测速度场，而 $\mathbf{f}_{v}^{*}$ 、 $\mathbf{f}_{t}^{*}$ 以及 $\mathbf{f}_{a}^{*}$ 记为 a相应的流匹配目标
当 AVTAG 被启用时，完整的训练目标为

$L_{\text {Train }}=L_{\text {Flow }}+\lambda_{\text {AVTAG }} L_{\text {AVTAG }}$

其次，对于高效的视觉缓存推理

VT-WAM 支持两种推理模式：联合推理模式和视觉缓存推理模式

对于视觉-触觉预测分析，作者使用联合推理模式，在该模式下，模型同时对视觉、触觉和动作tokens 进行去噪，以评估其预测能力
对于真实世界控制，作者使用视觉缓存推理模式，在该模式下，将当前视觉观测保持为第一帧锚点，并移除未来视觉预测

在这种模式下，VT-WAM 仅通过非对称 MoT 注意力对触觉和动作潜变量进行去噪：
$\rightarrow$ 触觉专家通过预测未来触觉形变来建模接触演化
$\rightarrow$ 而动作专家通过同时关注视觉锚点和触觉序列来预测动作块
这样在部署期间就避免了预测未来视觉 tokens 的开销

1.3 实验

如原论文所述，接下来

首先介绍实验设置，包括机器人平台、实现细节、基线方法、基准任务以及评估指标
随后作者在六个高接触密集的操作任务上评估 VT-WAM，分析视觉-触觉预测的质量，并通过消融实验量化关键组件的贡献

1.3.1 实验设置

第一，对于机器人平台

为了在真实世界的高接触操作任务上评估 VT-WAM，作者使用如图3 所示的机器人

该平台由一台7 自由度的xArm7机器人组成，配备Robotiq 2F-85 并联夹爪、腕部相机，以及安装在夹爪指内表面的两个Xense 触觉传感器

腕部相机以30 Hz 的频率采集128 × 128 的RGB 观测
每个触觉传感器以30 Hz 的频率记录接触表面上的35 × 20三维形变场

第二，对于实现细节

训练数据是通过人类动力学示教收集的，每个任务包含100 条专家轨迹
视觉、触觉、本体感受和动作流在训练前被同步并重采样到30 Hz
VT-WAM 使用预训练的Wan2.2-5B [30] 作为视觉骨干网络，并为触觉和动作专家使用参数规模为1B 的DiT 模型
所有实验中损失权重设为 $\lambda_{v}=\lambda_{t}=\lambda_{a}=1$ 和 $\lambda_{\mathrm{AVTAG}}=0.05$
且使用AdamW 优化器进行模型训练
学习率为1 × 10−4
权重衰减为1 × 10−2
采用bf16 混合精度
梯度裁剪阈值为1.0
并在5 % 预热之后使用余弦学习率衰减
训练在NVIDIA A100 (80GB) GPU 上进行
在推理评估阶段，VT-WAM 运行在远程NVIDIA A100 推理服务器上，并使用10 步去噪进行动作预测

第三，对于基线

作者将 VT-WAM 与具有代表性的基线方法进行比较，这些基线涵盖视觉运动控制（visuomotor）、VLA 和 WAM 策略：

DP + Tactile[10]
一种以触觉为条件的扩散策略（diffusion policy），根据机器人状态、腕部相机图像以及触觉观测来预测动作片段
RDP[3]
一种反应式视触觉策略，利用触觉反馈进行在线动作细化
π0.5[2]
一种不使用触觉输入的通用视觉-语言-动作策略
OmniVTLA[5]：一种触觉增强的 VLA 模型，利用触觉观测来进行动作预测
Fast-WAM[9]
一种世界动作模型（world actionmodel），用于建模视觉动态并在无触觉输入的情况下预测动作
————
ps，有一说一，个人觉得本文这个专门加了触觉的相当于在垂类场景中做了增强的，去对比vla或wam的基膜，如果没有在插拔场景中表现更好就奇怪了，说明白加触觉了

所有方法都在每个任务上分别进行训练，使用相同的示教数据，并在相同的机器人平台、任务定义和评测指标上进行评估

1.3.2 基准任务与评估指标

基准任务：如图 4 所示，作者在六个高接触任务[3], [21] 上对 VT-WAM 进行评估，这些任务被划分为两大类：表面交互任务和受限插入任务

$\rightarrow$ 表面交互任务包括 wipe board、wipe vase 和 peelcucumber，这些任务要求在平面、曲面或可变形表面上进行持续运动
$\rightarrow$ 受限插入任务包括 insert plug、swipe card 和 insert tube，这些任务要求在严苛的几何约束或视觉遮挡条件下进行精细的对齐操作
评估指标：对于每种方法和每个任务，作者进行 20 次独立试验，并报告成功率

$\rightarrow$ 对于表面交互类任务，得分取自 {0,0.5,1}：0 表示失败，0.5 表示完成目标区域的一半以上，1 表示完成整个目标区域
$\rightarrow$ 对于受限插入类任务，得分为二元取值{0,1}，其中 1 表示物体到达目标位置，否则为0

1.3.3 主要结果

首先，对于任务性能

表 I 给出了六个高接触任务上的性能表现

VT-WAM 在所有评估方法中取得了最高的成功率。与最强基线方法 Fast-WAM [9]相比，VT-WAM 将成功率从 45.00% 提升到71.67%，对应 26.67% 的绝对提升

在表面交互任务中，在执行过程中手腕相机的观测通常只发生细微变化，而接触变化则发生在局部交互表面

因此，基于视觉的策略在这些任务上仍然受限：π0.5 达到36.67 % 成功率，而OmniVTLA 即使使用了触觉输入也仅达到33.33 %
这种对比表明，仅将触觉观测作为策略输入不足以建模触觉交互动力学，这可能解释了它为何不能提高成功率

Fast-WAM 通过对动作条件视觉动力学建模(说白了，预测的动作基于对未来的视觉状态)，将成功率提高到56.67 %，突出了动作条件动力学建模的优势
然而，Fast-WAM 仍然是纯视觉的，无法直接捕获局部触觉交互。VT-WAM 通过将触觉变形建模为交互动力学，将成功率提升到81.67%
在受限插入任务中，成功更依赖于精细对准，而不是持续的表面覆盖
在插入插头、刷卡和插入导管这三类任务上，VT-WAM 达到了 61.67% 的成功率，而 OmniVTLA 为 38.33%，Fast-WAM为 33.33%

这些结果表明，当机器人需要在严格的几何约束下修正小位姿误差时，触觉动力学同样十分有用
改进在插入导管任务上尤为明显，由于导管是透明的，视觉对准不可靠，成功执行需要基于接触信息进行修正
结合表面交互任务的结果，这表明将触觉形变动力学与动作预测进行耦合，可以提升富接触任务的成功率

其次，对于视觉-触觉预测结果

作者对视觉-触觉预测结果进行分析，以评估 VT-WAM 的预测建模能力。为进行该分析，作者在联合推理模式下运行 VT-WAM，同时预测腕部摄像头观测和触觉形变场；而实际世界控制则使用上文所述的视觉缓存（visual-cache）推理模式

图 5 表明，VT-WAM能够预测在时间上连贯的腕部摄像头观测以及触觉形变轨迹，这些轨迹能够捕捉局部接触模式，包括压力集中和接触迁移

参考 OmniVTA [21]，作者通过形变幅值误差和方向一致性来量化触觉预测质量
l2 距离是在整个三维形变场上计算的，而余弦相似度则是在非零形变区域上计算的
所有方法都在相同的任务示例上进行评估。如表 II所示
VT-WAM 相较于基线模型取得了更低的形变误差和更高的方向一致性，这表明触觉专家模型学到了有意义的接触形变动力学