文献： Cao Z, Hong Y, Yang J, et al. FACT: A Multimodal Force–Action–Track Foundation Model for Human-to-Robot Dexterity. arXiv preprint, arXiv:2610.19155v1, 2026.
作者： Zhi Cao、Yining Hong、Jiaolong Yang、Yejin Choi、Li Fei-Fei、Jiajun Wu、Huang Huang。
项目主页： https://fact-1-0.github.io/

---

摘要

FACT 针对灵巧操作中“视觉能够决定动作去向，却难以反映接触压力和摩擦状态”的问题，建立了一条从人类多模态演示数据采集到机器人触觉条件动作生成的完整路线。其关键并非简单把触觉作为额外输入，而是将未来接触力本身设为生成变量，在生成剩余动作时与力轨迹共同去噪、互相约束。

工作同时提出 EgoForce 数据集，通过头部、双腕视觉及触觉手套，采集约 2,000 小时、40,000 段、1,000 种任务、120 个场景和 1,000 名参与者的人类操作过程。FACT 在 2,000 小时人类演示与 100 小时机器人遥操作混合数据上预训练，再使用每项任务 10 条机器人 + 90 条人类演示进行专用微调。在七项二元成功率任务上，其平均成功率为 41.4%，T-Rex 为 8.6%，${\pi }_{0.5}$ 为 1.4%。其余三项任务分别采用有效音符数或移液器拨盘接触与精度指标，不能与这七项成功率直接平均。

核心结论： 视觉轨迹负责跨本体的运动几何表达，触觉历史描述当前接触，预测的未来力与剩余动作共同决定接触后的细粒度调整。这是一种“前瞻性视觉运动规划 + 反应式触觉动作细化”的联合生成模型，而不是显式求解动力学方程的 MPC 或使用力设定值的经典阻抗控制器。

1. 研究背景、关键问题与技术挑战

1.1 人类示范规模大，却缺少可迁移的接触信息

现有第一视角操作视频与手部动作数据容易大规模获得，但同一手势可能对应完全不同的接触力，例如握紧软物、旋拧盖子或轻压移液器活塞。仅从 RGB 图像与腕部轨迹训练，难以学习接触建立、滑移抑制、夹持强度及旋拧扭矩等变量。真人触觉采集还面临器件之间响应曲线不一致、人体手与机器人多指手传感形态不一致、不同采样频率需要时间对齐等困难。

1.2 大范围运动与接触微调要求不同的更新频率

接近物体、调整双臂位置需要较大范围的视觉时序上下文；指尖一旦接触，微小力变化可能要求更快的局部修正。若始终重新运行大型视频生成模型，推理计算量较高；若仅低频生成整段动作，会在接触阶段缺乏有效反馈。FACT 采用大模型粗规划与轻量级触觉细化分离的结构，但两部分使用统一目标联合训练。

1.3 人到机器人迁移存在动作空间与力观测差异

人类手部骨骼和机器人关节不一致；人类采集手套测得的主要是法向压力分布，而机器人指尖直接提供六维力/力矩。论文必须解决腕部轨迹、指关节、视觉轨迹和触觉力标签的重定向与统一表示问题。其迁移机制主要依赖：

1. 视频与视觉点轨迹作为相对不依赖机器人形态的任务表示；
2. 末端位姿与手指角度重定向，将人类示范映射到机器人动作空间；
3. 统一的指尖 wrench 表示，以适配不同触觉传感来源。

1.4 本文试图回答的核心问题

• 带物理量纲的力数据能否使大规模人类操作演示真正改善机器人精细接触任务？
• 未来视觉与点轨迹预测能否增强跨本体共享表征与精细定位能力？
• 将未来力由“被动输入”升级为“与动作联合预测的目标”，是否优于只根据当前触觉修正动作？
• 在少量机器人专用示范下，人类演示能否实质性地替代部分机器人微调数据？

1.5 原论文首页总览图核对

图1 首页总览图。 来源：Cao 等，FACT

2. EgoForce：大规模人类视觉—动作—触觉数据集

2.1 采集系统、模态与规模

EgoForce 采用头戴式双目相机、双腕 RGB 相机和双手压阻式触觉手套，并在统一时间基准下保存视觉、手部运动与触觉数据。文中以 FusionX 作为多模态采集系统：头戴双目摄像头为 Arducam AR0234 双全局快门、各 $1920\times 1200$、30 fps、基线 60 mm，并带 200 Hz IMU；双腕摄像头各 $1920\times 1080$、30 fps。触觉手套每个指尖有 12 个 taxel（每手 $5\times 12$ 个），手掌另有 60 个 taxel，并记录屈曲传感器与姿态 IMU。原始触觉采样约 200 Hz，示范存储为按时间戳对齐的 MCAP 数据。

表 1　EgoForce 数据集规模（原论文 Section III）

指标	数量	说明
人类演示时长	约 2,000 h	以操作任务为主
演示片段	约 40,000	Episode
操作任务	约 1,000	多种接触密集任务
场景	约 120	不同采集环境
示范人员	约 1,000	不同操作习惯与手型
主要模态	三路第一视角视觉、手部动作、校准触觉	时间同步

2.2 自动力标定：从 A/D 读数到牛顿

传感器原始 A/D 值不是可直接比较的物理接触力。作者使用气囊对触觉表面施加近似均匀压力，参考压力从 0 扫描至 50 psi，同时记录外部参考压力及各传感单元读数。对第 $i$ 个 taxel，物理参考力按面积换算为：

$$F_i=P_i{A}_i$$

其中 $P_i$ 是参考压力，$A_i$ 是有效受力面积。利用成对的 A/D 读数与参考力拟合每个 taxel 的标定映射，从而减小不同手套和采集批次的力尺度差异。开始采集前，还记录静息 A/D 偏置及每根手指的屈曲上下限。该方案获得的是经校准的触觉压力/力观测，并不意味着直接获取了完整三维接触力矢量。

2.3 数据分布强调精细接触而非简单搬运

原论文 Figure 2 显示，易变形物体操作占 21.0%，装配与建造占 17.3%，收纳整理占 14.8%，再加上精细分类、精准配合、紧固件操作等，超过三分之二数据属于精细接触操作。原子技能中较常见的是 hold、pull、fold、regrasp、thread、smooth、crease 等，拾取与放下并非主体。因此模型需要学习多次再抓取、指尖接触切换、连续施力及柔性物体形变控制。

图2 EgoForce 任务类别与原子技能分布。 来源：Cao 等，FACT

2.4 人类演示如何转换为机器人可学习标签

人类手部姿态并非直接由高精度全身动作捕捉提供：先通过 ViTPose 得到手部关键点，再利用 HaMeR 拟合 MANO 手部网格，结合双目深度进行尺度恢复与时间平滑，并通过手套屈曲传感器和 IMU 补充被遮挡时的观测。然后将手指姿态重定向至机器人 22 关节配置，将腕部位姿变换为 chunk 起点坐标下的末端相对位姿。

对于每个指尖的力标签，12 个 taxel 的校准法向力求和得到法向力；其加权压力中心估计可观测的两个力矩，而压力阵列无法测量的切向力分量和绕法向的扭矩在标签中置零。这些伪六轴 wrench 与机器人真实六轴传感器维度一致，但物理信息并不完全等价，这是迁移时一个重要限制。

3. FACT 整体架构与端到端算法流程

3.1 模型总体设计

FACT 包含两个联合训练的生成子模型：

第一阶段：Track-Guided Coarse Planner（轨迹引导粗规划器）。输入指令、视觉观测、机器人状态、过去视觉点轨迹等，联合生成未来视频、未来点轨迹和一段粗动作序列。在扩散/流匹配时间 $\tau =0.4$ 停止动作去噪，保留初步运动规划并提取隐状态缓存。

第二阶段：Force–Action Joint Refiner（力—动作联合细化器）。在粗动作、当前触觉与触觉历史的条件下，联合去噪剩余动作及未来每个指尖的力。它通过对粗规划器隐状态的交叉注意力读取视觉计划，利用双向自注意力让动作与未来接触力相互影响。

图3 FACT 整体网络：视觉轨迹粗规划器与力—动作联合细化器。 来源：Cao 等，FACT

3.2 输入输出与时间尺度

模型每次生成 16 步动作，控制频率 20 Hz，所以每个动作块覆盖 $16/20=0.8$ s。双臂各有 $3$ 维末端位置、$6$ 维旋转表示、$22$ 维灵巧手关节目标，合计：

$$\dim (a_t)=2\times (3+6+22)=62,A\in {\mathbb{R}}^{16\times 62}$$

未来触觉力按 5 Hz 建模，0.8 s 内有四个刷新槽；双手共十个指尖，各输出六维 wrench：

$$\hat{F}\in {\mathbb{R}}^{4\times 10\times 6},F_t\in {\mathbb{R}}^{10\times 6}$$

表 2　FACT 的主要时序和表示维度

模态或环节	时间频率 / 窗口	维度或规模
机器人动作	20 Hz、16 步 / 0.8 s	$16\times 62$
视频训练帧	10 Hz	三视角拼接后编码
视觉点轨迹	20 Hz、250 点	每段过去与未来各 16 步
触觉槽位	5 Hz、4 槽 / 0.8 s	$4\times 10\times 6$
触觉历史	5 Hz、16 帧 / 3.2 s	每指尖单独编码
触觉细化刷新	5 Hz	0、4、8、12 动作偏移
训练滚动序列	4 个 block / 3.2 s	教师强制训练

3.3 从观测到实际控制指令的闭环

1. 根据当前三视角 RGB、语言任务、状态、轨迹历史构造干净条件 token；将未来视频、动作及未来轨迹初始化为噪声。
2. 在粗规划器中联合执行六次 Euler 积分，将噪声等级从 $\tau =1$ 降至 $0.4$。在 $0.4$ 额外前向一次，解码预测视频与轨迹，并缓存观察 token 和动作 token 的隐状态。
3. 将半去噪动作、当前观测到的指尖六轴力、量化的触觉历史和初始化为噪声的未来力 token 一并送入细化器。
4. 细化器在两组不同的流匹配时间轴下执行四次 Euler 更新：动作噪声 $0.4\to 0$，未来力噪声 $1\to 0$。
5. 按 20 Hz 执行动作序列；每四步（0.2 s）获取新的 5 Hz 触觉观测，固定已执行动作前缀和已观测力，仅对后续未执行动作与未来力重新细化。
6. 同一个 0.8 s 动作块内，粗规划器通常只运行一次，后续触觉刷新重复使用缓存的视觉计划；下一个动作块重新运行粗规划器。

需区分：重新运行细化器是在线推理更新，不是在线训练权重。预测未来力参与联合去噪，但论文明确说明它只用于分析与生成过程，不是外部显式力控制器的期望设定值。

4. 轨迹引导粗规划器：视觉、动作和点轨迹联合流匹配

4.1 多模态表示与 DiT 结构

粗规划器以 Wan2.2-TI2V-5B 视频 DiT 为基础，保留完整预训练骨干并进行全参数微调。文本由 umT5-XXL 编码，锚帧语义由 CLIP 编码，二者通过交叉注意力输入；视觉潜变量通过 Wan VAE 获取。机器人状态、过去轨迹和条件视频提供清洁上下文；未来视频、动作与未来轨迹作为噪声条件下的生成目标。

模型使用 block-causal 自注意力：当前和历史 block 的观察/动作相互注意，state token 保持局部范围，而 track token 保留专门几何注意力通路。每个 0.8 s block 有 617 个主 token：100 个视频、16 个动作、1 个状态、250 个过去轨迹和 250 个未来轨迹；额外前置 50 个干净的观察 token。视频采用 3D RoPE，其它模态用独立 1D RoPE；点轨迹再加视角、左右手、语义角色、点编号及时间块嵌入。

4.2 Flow Matching：速度场回归而不是直接回归动作

将训练样本中的真实目标记为 $c$，高斯噪声记为 $\epsilon \sim \mathcal{N}(0,I)$，插值噪声等级为 $\tau \in [0,1]$：

$$x_{\tau }=(1-\tau )c+\tau \epsilon ,v^{\ast }=\epsilon -c$$

这里 $\tau =1$ 时 $x_{\tau }$ 接近纯高斯噪声，$\tau =0$ 时为干净目标；网络回归的是由噪声走向数据所对应路径的速度场 $v^{\ast }$。在由大到小的噪声时间积分时，可写 Euler 近似为：

$$x_{\tau -\Delta \tau }=x_{\tau }-\Delta \tau v_{\theta }(x_{\tau },\tau ,\text{context})$$

注意式中的负号来自积分方向 $\tau :1\to 0$；它并非随机梯度下降的权重更新。不同 token 可以拥有不同 $\tau$：观测和历史 token 始终 $\tau =0$，生成 token 按 block 采样 $\mathrm{Beta}(1.5,1)$ 噪声等级，并由 AdaLN 注入时间条件。正因为 token 级噪声条件存在，阶段一才能保留处于 $\tau =0.4$ 的动作供第二阶段继续细化。

预测速度场后可按论文式（3）做一次直接的 clean estimate：

$${\hat{x}}_0=x_{\tau }-\tau {\hat{v}}_{\theta }(x_{\tau },\tau )$$

4.3 视觉点轨迹：跨本体的几何运动监督

离线数据构造时，先用 SAM2 在初始帧分割手部，再由 CoTracker 追踪点。原文每 block 共选 250 点：头部视角两手共 100 点，两腕视角各由手部点和背景网格点构成（每腕 75 点），合计 250 点。追踪图像尺寸约 $180\times 320$，点坐标归一化到 $[0,1]$。训练 track token 使用逐时刻的 $(x,y,\mathrm{vis},\Delta x,\Delta y)$，16 帧扁平化为 80 维，经过 $\mathrm{Linear}(80\to 3072)\to \mathrm{SiLU}\to \mathrm{Linear}$ 编码。解码器为每个未来点预测 16 帧二维位移/速度。

损失使用可见性掩码，并依据轨迹路径长度 $\ell$ 进行 $1+4\ell$ 的加权，更强调运动明显的点。与只预测视频 RGB 不同，轨迹监督直接刻画局部几何运动：人手与机器人手关节数不同，但“目标物如何被拉动、旋转、滑移”的视觉轨迹具有更大的共享部分。这是一种表示层面的跨本体桥梁，不等同于无需动作重定向即可直接控制机器人。

4.4 粗规划器损失函数

论文式（2）给出：

$${\mathcal{L}}_{\mathrm{coarse}}={\mathcal{L}}_{\mathrm{dyn}}+{\mathcal{L}}_{\mathrm{act}}+{\lambda }_t({\mathcal{L}}_{\mathrm{trk}}^{\mathrm{flow}}+5{\mathcal{L}}_{\mathrm{trk}}^{\mathrm{pos}}+2{\mathcal{L}}_{\mathrm{trk}}^{\mathrm{smooth}}),{\lambda }_t=20$$

其中 ${\mathcal{L}}_{\mathrm{dyn}}$ 是视频潜变量的流匹配损失，${\mathcal{L}}_{\mathrm{act}}$ 是动作流匹配损失，轨迹的三项分别对应预测速度、位置重建和平滑约束。轨迹损失权重 $20$、位置权重 $5$、平滑权重 $2$，都是原论文明确给出的参数。不能误读为“只有轨迹损失”“轨迹监督就是下游规划的显式约束”。

4.5 中间交接点与 KV Cache

粗规划器在 $\tau =0.4$ 停止动作去噪。此时通过额外前向得到观察和动作 token 的隐藏状态，投影到 768 维并保存为跨注意力键值缓存；只保留这两类隐藏状态，不缓存 state、track 等全部 token。对于当前及最多前四个 block，缓存存储视觉计划上下文。缓存构造阶段的隐状态在细化器训练和采样中视为固定，但并不意味着 DiT 在预训练时冻结：粗规划器骨干在端到端预训练中仍进行全参数微调。

5. 力—动作联合细化器：把“未来接触力”变成生成变量

5.1 为什么要同时生成力与动作

传统触觉修正器常把测量力编码为历史上下文，再直接修正后续动作；此时动作和未来力之间的耦合依赖网络隐式学习。FACT 为每个未到达的触觉时间槽加入一个连续未来力 token，使其与剩余动作 token 在双向 self-attention 中共同去噪。在此机制下，模型一方面依据当前动作预测未来可能施加的压力，另一方面依据该预测力调整动作的继续演化；两者每一步都互为上下文。

这并不是在线显式计算雅可比矩阵 $J$ 后令 $\tau =J^{T}F$ 的经典力/力矩控制，也没有显式施加接触力稳定性约束，而是对离线多模态示范分布学习条件生成动力学。

5.2 触觉历史编码与 VQ 模块

每手五指，各指六轴力/力矩，合计当前 60 维；每次 5 Hz 触觉刷新时使用最近 16 帧、即 3.2 s 的历史。每个指尖序列进入共享的一维卷积网络：kernel 5、GroupNorm、GELU、128 通道、两次 stride-2，下采样并经过 256 维 bottleneck，随后沿时间求平均得到 256 维指尖向量。

其 VQ 码本大小为 64，码向量维度 256，EMA 更新衰减系数 0.99，僵死码每 200 步重新初始化；VQ 损失由重建 MSE 与 0.25 权重的 commitment 项组成。每个指尖生成一个历史 token，双手共十个。注意：被量化的是已观测的历史触觉；未来力仍是连续变量联合生成，这是与只依赖历史量化力的基线区别之一。

5.3 Refiner 的 76-token 组织

按附录 B，单个细化器样本有：

$$N_{\mathrm{refine}}=16_{\mathrm{action}}+10_{\mathrm{current}\mathrm{force}}+10_{\mathrm{VQ}\mathrm{history}}+40_{\mathrm{future}\mathrm{force}}=76$$

未来力 40 token 源于 4 个未来时间槽与十个指尖的笛卡尔积；动作 16 token 对应一个 0.8 s chunk。其网络是 6 层、隐藏维度 768、12 个注意力头、FFN 中间维度 3072 的双向 Transformer，每层依次使用噪声等级调制的 AdaLN、双向自注意力、对固定粗规划缓存的交叉注意力及 FFN。action/force 输出头分别预测 flow-matching 速度场。

5.4 非对称双时间轴采样

粗规划器已把动作的噪声从 1 降到 0.4，因此细化器对动作只需执行剩余 $0.4\to 0$；而未来力没有在第一阶段生成，必须从 $1\to 0$ 完整去噪：

$${\tau }_a:0.4\to 0,{\tau }_f:1\to 0$$

训练时采用：

$${\tau }_a\sim 0.4\mathrm{Beta}(1.5,1),{\tau }_f\sim \mathrm{Beta}(1.5,1)$$

附录给出动作时间采样的数值安全修正：${\tau }_a=0.4[0.999\mathrm{Beta}(1.5,1)+0.001]$。这不是每个实际控制时间步迭代 10 次“训练”，而是一次模型推理的 6 步粗规划去噪、4 步联合细化去噪，后者随触觉刷新再次执行。

5.5 细化器损失与联合目标

论文式（4）为：

$${\mathcal{L}}_{\mathrm{refine}}=\Vert {\hat{v}}_a-v_a^{\ast }{\Vert }_{[o:16)}^2+{\lambda }_f\Vert {\hat{v}}_F-v_F^{\ast }{\Vert }_{s>o/4}^2+{\mathcal{L}}_{\mathrm{VQ}},{\lambda }_f=0.5$$

其中偏移量 o∈{0,4,8,12}o\in\{0,4,8,12\}o∈{0,4,8,12}，代表 5 Hz 触觉刷新发生在 20 Hz 动作序列中的第几步。第一项仅计算尚未执行的动作后缀误差；第二项仅计算尚未被实际测量的未来触觉槽位误差；已执行动作和已观测力固定，不再作为噪声目标去预测。

粗、细两阶段端到端训练，整体目标为论文式（5）：

$${\mathcal{L}}_{\mathrm{FACT}}={\mathcal{L}}_{\mathrm{coarse}}+{\lambda }_{\mathrm{refine}}{\mathcal{L}}_{\mathrm{refine}}$$

原文在主文式（5）中未列出 ${\lambda }_{\mathrm{refine}}$ 的具体数值，不应自行设为 1。训练时针对四个 teacher-forced block 和四种刷新偏移生成 16 个细化器实例；触觉 dropout 概率为 0.1，降低对某一路触觉输入的过度依赖。

5.6 在线闭环：只更新未执行动作后缀

令 $A=[a_0,\dots ,a_{15}]$，当机器人执行到 $o=4$ 时，$a_0$ 到 $a_3$ 已发生，不能因新观测而被改写。细化器以最新力观测为条件，固定历史前缀：

$$A_{[0:o)}\text{固定},A_{[o:16)}\text{重新细化}$$

论文在 $o=4,8,12$ 各重新运行一次细化器，而非每次都重新生成整段视频和轨迹。其意义是把大型视觉模型的计算与高频接触修正解耦，得到具备触觉反馈的局部动作生成。与经典 MPC 的共同点是利用新状态重算未来动作；不同点在于 FACT 并没有显式约束优化的有限时域目标、动力学积分和求解器。

6. 预训练策略、实现参数与跨本体适配

6.1 数据配置与硬件

预训练在 EgoForce 人类演示 2,000 h 和 T-Rex 机器人遥操作 100 h 上联合进行，按小时占比采样。使用 240 张 Alibaba T-Head PPU（Zhenwu 810E，单卡 96 GB HBM2e），AdamW、bf16、DeepSpeed ZeRO-2。Wan2.2-TI2V-5B 视觉 DiT 进行全参数微调；VAE、umT5-XXL 与 CLIP 编码器保持冻结；轨迹编码/解码、触觉 VQ 与细化器从零训练。

表 3　模型关键配置（原论文 Table IV 的核心参数）

项目	参数	数值
粗规划器	预训练骨干	Wan2.2-TI2V-5B
粗规划器	层数 / 隐藏维 / 注意力头	30 / 3072 / 24
粗规划器	参数量	5.05B
粗规划器	最大序列 token	2,518
粗规划器	推理积分	6 步，$1\to 0.4$
细化器	层数 / 隐藏维 / 注意力头	6 / 768 / 12
细化器	参数量	65M
细化器	推理积分	4 步，$0.4\to 0$（动作）
训练	峰值学习率	$1\times 10^{-5}$
训练	Warmup / 权重衰减	0.05 / $10^{-5}$
训练	单卡 batch / 梯度累积	16 / 1
训练	加速器 / 数量	T-Head PPU / 240
训练	混合精度 / ZeRO	bf16 / Stage 2
训练	触觉 dropout	0.1

6.2 机器人末端表示有助于跨机械臂结构复用

预训练机器人数据来自 Dexmate Vega-1 平台（7 自由度双臂），实验机器人是 I2RT YAM Ultra 双臂（单臂 6 自由度）；两者使用相同 Sharpa Wave 灵巧手。作者将手臂动作表示成末端位姿变化而非机械臂关节角，因此通过各平台自己的 IK 与底层关节控制器执行，可复用 62 维动作定义。这种方案解决了部分运动学表示不一致，但不意味着机械结构、动力学、接触模型已自动一致。

6.3 人机标注的不完备性

人类触觉标注通过压力阵列推断法向力和部分力矩；机器人则采集真实指尖六轴 wrench。虽然可在统一维度下混合训练，但人类示范中切向分量置零，可能弱化摩擦、滑移和扭矩相关能力的监督质量。论文证明的是带有这类近似标注的人类力数据具有显著的下游价值，而不是手套已经精确测得所有六轴接触分量。

7. 实验平台、测试任务与评价协议

7.1 真机硬件与微调数据

真实机器人使用两台 I2RT YAM Ultra 6-DoF 机械臂和两只 Sharpa Wave 1 22 关节灵巧手，每指尖具有 6 轴力/力矩感知；摄像头为 RealSense D435 头部视角及两只 ZED Mini 腕部视角。任务特定演示采集为每项 10 条机器人遥操作轨迹（Manus 手套 + VIVE Tracker 3.0）和 90 条人类示范轨迹（Wuji 触觉手套 + 腕部相机与跟踪器），共 100 条/任务。每个下游任务分别微调模型，因此最终结果不是同一未微调模型对十个任务的 zero-shot 成功率。

7.2 任务定义和指标

十项任务中，前七项为二元完成/失败，评估各 10 次 rollout；竖琴、木琴分别统计 10 次目标发声事件中音符清晰的数量；移液器量程调整从 420 $\mu$L 旋至 400 $\mu$L，分开统计拨盘成功接触次数（10 次测试）和仅在成功接触 trial 上计算的最终量程平均绝对误差。数据单位和任务评分尺度不相同，因此不能合成为“十任务平均成功率”。

图4 机器人实验任务的物体初始位置与姿态随机化。 来源：Cao 等，FACT

实验在同一场景与物体集合中随机改变每次 rollout 的初始物体位置或朝向，如图 4 叠加初始帧所示，减小策略只记住单一固定起点的影响。不过只有十次 trial/任务，论文没有提供多次训练随机种子和置信区间，定量解释仍应留意采样方差。

7.3 对比基线与公平性细节

• ${\pi }_{0.5}$： 使用公开基础 checkpoint，针对每个任务全参数微调；输入三视角图像、任务指令与机器人状态，没有触觉输入。由于其动作头固定 32 维，双手关节利用 PCA 降至每手 10 维，动作 horizon 为 10，因而与 FACT 的 62 维、16 步动作表示并非完全一致。
• T-Rex： 使用官方 mid-trained checkpoint，具有触觉 VQ 处理、62 维动作及 16 步 chunk，具备可比的快慢级联设计；但其细化器没有把连续未来力作为共同生成目标。
• FACT w/o force pred： 保留当前触觉输入，只去掉未来力预测 token 与监督损失，并非“完全无触觉”。
• FACT w/o track pred： 去除未来轨迹预测 token、输出头与轨迹损失，粗规划器只依赖视频和状态生成粗动作。

8. 主要实验结果及消融分析

8.1 十项真实任务完整对比

表 4　十项真实机器人任务结果（原论文 Table I；各方法原值）

任务及指标	${\pi }_{0.5}$	T-Rex	FACT 无未来力预测	FACT 无轨迹预测	FACT 完整
实验室移液：成功率/%	0	0	30	20	40
旋开试管盖：成功率/%	10	20	40	80	80
打开离心管翻盖：成功率/%	0	20	20	40	50
系鞋带：成功率/%	0	0	0	20	20
洗牌：成功率/%	0	10	0	20	30
单手抓多物体：成功率/%	0	0	10	40	40
使用螺丝刀：成功率/%	0	10	0	30	30
前七项平均成功率/%	1.4	8.6	14.3	35.7	41.4
竖琴：干净音符/10	0.5	2.1	0	6.5	6.7
木琴：干净音符/10	0	3.2	1.9	3.9	5.4
量程拨盘接触成功/10	1	2	2	4	5
量程误差/$\mu$L（仅已接触）	17.0	14.0	11.0	12.8	6.4

完整 FACT 的七项平均成功率比 T-Rex 高 32.8 个百分点，而论文摘要中的“最高提升 60 个百分点”对应的是旋开试管盖：80% 对 20%，不是平均提升 60% 或 60 个百分点。对于移液器调节，FACT 十次中只有五次成功接触拨盘，6.4 $\mu$L 是这些接触 trial 的平均绝对误差，不能据此称其在全部试验中“稳定达到 6.4 $\mu$L 精度”。

图5 精细接触任务的真实机器人执行示例。 来源：Cao 等，FACT

8.2 不同机器人—人类微调数据比例

在每项总计 100 条示范的条件下，对比机器人:人类为 10:90、30:70 和 50:50。论文指出增加机器人轨迹后，打开翻盖从 50% 到 60%，多物体抓取从 40% 到 50%，移液器量程接触从 5/10 到 6/10；三组移液量程误差分别为 6.4、5.2、6.1 $\mu$L。整体表明人类演示在微调中具有较高的训练价值，但不能由此推出所有接触技能上“人类一条数据严格等价于机器人一条数据”。

图6 机器人—人类数据配比与微调结果。 来源：Cao 等，FACT

8.3 人类数据有无力监督及其规模的影响

预训练三种方案分别为：（i）2,000 h 带力的人类演示 + 100 h 机器人数据；（ii）相同数据配比但关闭人类力监督并遮蔽人类触觉输入；（iii）只用 100 h 机器人演示。控制模型结构一致，分离数据规模与力监督变量。结果如下。

表 5　不同预训练方案对下游表现的影响（原论文 Table II）

指标	人类带力 + 机器人	人类无力 + 机器人	仅机器人
实验室移液成功率/%	40	20	0
旋开试管盖成功率/%	80	0	20
打开离心管翻盖成功率/%	50	10	0
系鞋带成功率/%	20	0	0
洗牌成功率/%	30	10	0
单手抓多物体成功率/%	40	40	30
使用螺丝刀成功率/%	30	10	0
竖琴干净音符/10	6.7	2.0	1.2
木琴干净音符/10	5.4	2.2	1.0
量程接触成功/10	5	2	0
已接触 trial 量程误差/$\mu$L	6.4	20.5	无有效读数

力监督最显著地改善试管开盖、弹拨乐器、量程调节等接触敏感任务；单手多物体抓取在两种“含人类数据”的方案中均为 40%，说明带力监督的收益与任务的接触复杂度有关，并非所有任务统一提升。

预训练人类数据规模分别为 100、500、1,000、1,500、2,000 h，带力监督和不带力监督都随规模增加而降低验证 MSE。在 100 h 时，原文报出不带力 0.047、带力 0.042；在 2,000 h 时分别为 0.036 和 0.031。作者据此报告触觉监督的验证损失相对改善约 10%–14%。这里是验证损失的尺度规律，不能直接当作机器人任务成功率的增长曲线。

图7 人类预训练数据规模与验证损失。 来源：Cao 等，FACT

8.4 用 90 条人类微调数据辅助十条机器人示范

表 6　极少机器人示范时人类演示的贡献（原论文 Table III）

任务及指标	10 条机器人 + 0 条人类	10 条机器人 + 90 条人类
系鞋带成功率/%	10	20
洗牌成功率/%	10	30
量程拨盘接触成功/10	4	5
量程误差/$\mu$L	11.2	6.4

这一实验证明在专用任务上补充人类数据可以增益学习效果。不过对比的是 10 条机器人 + 90 条人类 与 仅 10 条机器人，示范总数并不相等；不能将此实验解释为单独隔离“跨本体表征优于机器人示范”的充分证据。与图 6 的固定 100 条、不同机器人/人类配比实验结合，才更有助于理解替代性。

8.5 两种生成目标的消融有何不同

• 去未来力预测： 试管开盖 80% → 40%，竖琴 6.7 → 0 个有效音符，拨盘接触 5/10 → 2/10；说明预测未来接触效果对力量敏感任务尤为重要。
• 去点轨迹预测： 实验室移液 40% → 20%，洗牌 30% → 20%，木琴 5.4 → 3.9 个有效音符；说明视觉运动几何约束可加强准确到位与时序协调。

两种目标并非替代关系：未来视觉轨迹着重预测“位置与运动趋势”，未来力着重约束“接触过程中施加多大的力”；作者在总体设计中联合训练这两项，所以实验支持其互补作用。

9. 附录：系统工程、输入模态及全部任务原图

9.1 EgoForce 采集平台详细结构

图8 EgoForce 采集平台、视觉与触觉观测及任务示例。 来源：Cao 等，FACT

图 8 左侧展示采集硬件、中部展示多模态同步系统和手势轨迹估计、右侧展示多任务视觉与触觉热力图。

9.2 真机平台、手套遥操作与人类数据接口

图9 双臂机器人与人工演示、遥操作接口。 来源：Cao 等，FACT

机器人侧的两只 Sharpa Wave 1 手各有 22 关节及五个指尖六轴 wrench 传感器，机械臂动作以末端位姿通过 IK 解析执行。实验平台与 T-Rex 机器人预训练平台使用不同机械臂构型，但共享相同高层动作表示，增强迁移可行性。

9.3 单步运行中的完整多模态输入

论文 Figure 10 对应移液器拨盘调节过程的一帧：三路摄像机画面、左右手各五个指尖的 wrench 可视化以及任务文本指令。其价值在于说明策略实际接收的是当前视觉、状态、文本、触觉历史，而未来力是模型内部预测量，不是从真实未来读取到的传感器输入。

图10 移液器量程调节任务的多模态输入可视化。 来源：Cao 等，FACT

9.4 十项任务的完整五帧序列

原论文 Figure 11–20 是每项任务抽取五个关键时刻的图组。下列每幅图保留全部五帧，且始终遵循原文从左到右的次序。

9.4.1 实验一：实验室移液

成功条件是吸取并转移液体、弃置移液器吸头且未丢落仪器或试管。

图11 实验一：实验室移液：五个关键执行时刻。 来源：Cao 等，FACT

9.4.2 实验二：旋开试管盖

双手配合抗扭与旋转，试管盖完全分离并将试管放回架中。

图12 实验二：旋开试管盖：五个关键执行时刻。 来源：Cao 等，FACT

9.4.3 实验三：打开微量离心管翻盖

将管子交接后用拇指掀开铰接盖，再放回架中。

图13 实验三：打开微量离心管翻盖：五个关键执行时刻。 来源：Cao 等，FACT

9.4.4 实验四：系鞋带

抓住鞋带、交叉收紧、绕环并形成松手后仍保持的双环蝴蝶结。

图14 实验四：系鞋带：五个关键执行时刻。 来源：Cao 等，FACT

9.4.5 实验五：洗牌

双手握住半副纸牌、弯曲并交错释放，再将整副纸牌并齐。

图15 实验五：洗牌：五个关键执行时刻。 来源：Cao 等，FACT

9.4.6 实验六：单手连续抓取多物体

同一只手依次抓住玩具铲、锤和球，中途不能丢下先前物品，最后投入篮中。

图16 实验六：单手连续抓取多物体：五个关键执行时刻。 来源：Cao 等，FACT

9.4.7 实验七：使用螺丝刀

左手稳固物体、右手螺丝刀保持轴向压力并重复旋松；图片为遥操作演示帧。

图17 实验七：使用螺丝刀：五个关键执行时刻。 来源：Cao 等，FACT

9.4.8 实验八：弹奏竖琴

依次拨动十根指定弦，以不失声、不破音的清晰发声计分。

图18 实验八：弹奏竖琴：五个关键执行时刻。 来源：Cao 等，FACT

9.4.9 实验九：敲击木琴

持槌依次敲击十个琴键，以清晰有效发声数量评分。

图19 实验九：敲击木琴：五个关键执行时刻。 来源：Cao 等，FACT

9.4.10 实验十：调整移液器量程

左手稳住移液器、右手指尖转动拨盘从 420 μL 调至 400 μL，分别计量接触成功与最终误差。

图20 实验十：调整移液器量程：五个关键执行时刻。 来源：Cao 等，FACT

10. 创新点与学术贡献

10.1 数据贡献：首要创新是大规模带校准力的人类示范

相比常见只提供 RGB 与手部姿态的第一视角数据，EgoForce 在大量自然双手操作中同步收集细粒度压力信息，并通过气囊标定映射到物理力尺度。该资源让模型在机器人数据稀缺时能够学习力相关任务的统计先验。大规模、多任务、具有物理监督意义的示范语料是后续模型获得精细触觉行为的重要基础。

10.2 模型贡献：视觉轨迹桥梁与连续未来力联合生成

FACT 将前瞻性的未来视频/点轨迹预测与精细的触觉力—动作共去噪合并为一个训练目标。关键区别是未来接触力也是生成的目标模态，而不是只将触觉力投影为条件特征；动作生成因而受到预计接触后果的潜在约束。视觉轨迹作为跨本体共享运动几何，解决的是“如何到达并移动目标”；力—动作共生成解决的是“接触后如何继续执行”。

10.3 工程贡献：可复用视觉计划的异步触觉细化

论文利用 5B 视觉 DiT 的稀疏粗规划与 65M 细化器的多次局部更新，在动作执行中缓存 coarse memory，并以 5 Hz 刷新触觉而不每次重跑视觉生成。这种异步结构兼顾全局视觉条件与接触阶段的快速修正，为高算力视频模型与低层灵巧控制接口提供了现实可行的分层方案。

10.4 实证贡献：对人类力监督、视觉点轨迹和力预测分别做消融

从表 4、表 5、表 6 可以区分三种收益来源：

1. 人类演示数据扩大了可用于迁移的任务与接触动作分布；
2. 校准力监督及未来力预测显著改善精密接触、旋拧与音乐演奏；
3. 未来点轨迹预测改善空间运动准确度与几何对齐。

实验还用固定总样本数的人机比例变化，初步支持人类数据能够减少机器人专用示范需求。但现有十项任务中的每个任务都进行了少样本专用微调，尚不能宣称实现开放世界零样本灵巧操作。

11. 局限性、复现难点与研究启示

11.1 人类与机器人力观测的物理分布仍有差距

在人类手套监督中，切向力和扭转力矩无法直接观测，被置零作为伪 wrench 的一部分。对于螺丝刀扭转、卡片滑移和摩擦操作，这类信息可能重要。未来可引入更丰富的切向触觉传感器、可观测接触力估计或多源触觉一致性约束，减小伪六轴标签与真实六轴传感器的差距。

11.2 未来力预测不是严格的接触物理模型

FACT 学到的是数据驱动的未来 force distribution，而非保证满足库仑摩擦锥、接触互补条件或稳定抓持的解析动力学模型。它预测的力也没有直接作为底层力控制设定值。对于高刚度装配、具有安全力上限的实验仪器，可考虑在部署时增加显式力阈值、动作约束过滤与闭环顺应性控制，而不将网络输出直接等价为安全可证的力控制律。

11.3 算力与在线延迟仍需定量评估

预训练使用 240 张专用 PPU，大规模 5B 视频 DiT 计算成本很高。论文给出降采样、缓存与采样步数，但没有在十项任务中完整公布推理端端延迟、负载波动、不同 GPU 规模下的部署吞吐；因此无法仅由“5 Hz 触觉刷新”推断在普通工作站上一定能保持 5 Hz 实时闭环。向 Jetson 或低算力端部署时需进一步研究 DiT 压缩、KV memory 优化和视觉/触觉异步调度。

11.4 实验统计范围和场景泛化需要谨慎理解

每个二元任务十次 rollout，成功率以 10 个百分点为最小分辨率，未报告跨训练随机种子的稳定性、显著性检验或大规模未见任务的直接泛化结果。因此论文支持“在所测任务并经微调后 FACT 更有效”，但不足以直接推出“任何新任务上无需训练即可泛化”。

11.5 对双臂、轮足机械臂和具身操作训练的启发

可以借鉴它的任务表示分离思想：对移动底盘/全身平台生成未来相对几何轨迹或目标接触点，对机械臂/灵巧手分支生成细粒度接触动作，并在具有触觉输入时局部刷新动作后缀。然而 FACT 直接使用的是固定双臂平台及末端 62 维动作，既没有轮足底盘动作，也没有足端接触与全身动力学约束。若要扩展到轮足机械臂，需要重新定义底盘—机械臂统一动作空间、接触观测、身体稳定性约束及移动期间的视野变化，不能简单把原 62 维动作头当作全身控制器。

12. 结论

FACT 的研究价值在于它把人类操作中的“视觉几何”与“接触力经验”统一到可迁移的模态监督里，再用一个分层但联合训练的生成架构连接未来场景运动、机器人动作、未来接触力。其最值得关注的技术主线是：校准触觉示范 → 视觉轨迹表示 → 噪声时间分段的级联 Flow Matching → 对缓存粗计划进行触觉条件的动作后缀再细化。

从论文证据看，带力的人类示范比无力的人类示范在精密接触任务上效果更好；未来力共生成对旋盖、竖琴和量程调节具有显著贡献；点轨迹预测进一步改善细粒度运动。未来的核心问题仍包括力标签真实性、可证明的接触安全性、推理延迟，以及在未见任务和移动全身平台上的跨本体迁移。

参考资料

1. Cao Z, Hong Y, Yang J, et al. FACT: A Multimodal Force–Action–Track Foundation Model for Human-to-Robot Dexterity. arXiv:2610.19155, 2026. https://arxiv.org/abs/2610.19155
2. FACT 官方项目主页：https://fact-1-0.github.io/
3. Wan Team. Wan: Open and Advanced Large-Scale Video Generative Models. arXiv:2503.20314. https://arxiv.org/abs/2503.20314
4. Cao Z, et al. TrAct: Bridging Robot Control and Visual Prediction with Visual Tracks. arXiv:2608.24101. https://arxiv.org/abs/2608.24101
5. Karaev N, et al. CoTracker: It Is Better to Track Together. ECCV 2024. https://arxiv.org/abs/2307.07635
6. Physical Intelligence, Black K, et al. ${\pi }_{0.5}$: A Vision-Language-Action Model with Open-World Generalization. arXiv:2504.16054. https://arxiv.org/abs/2504.16054

---