TouchTwin证明,借助途见科技880点全手触觉手套TachinGlove,一次真实抓握不仅能被记录,还能重建进入仿真,扩增成大量带接触力标签的训练数据,让机器人从“看见动作”真正走向“学会用力”。

如果我们想教会机器人拿起杯子,最直接的方法,是让机器人在真实世界中练习。但问题也随之而来:机器人要练多少次才能真正学会。

可以肯定的是,一次演示远远不够。杯子的重量、材质和表面摩擦力会变化,抓取位置会变化,手指可能偏几毫米,动作可能快一点或慢一点;此外,机器人还要学会应对滑动、碰撞、遮挡和意外扰动。

如果这些情况全部依靠真机采集,不仅成本高、速度慢,还可能损坏机器人和物体。对于拥有大量关节和接触点的灵巧手,问题则更加突出。一个看似简单的抓取动作,背后可能对应着成千上万种手指受力状态。

于是,机器人学习领域逐渐形成了一条重要技术路线:Real-to-Sim-to-Real,即先从真实世界获得可信数据,再把真实操作重建到仿真中,在仿真里实现大规模扩增和训练,最后回到真实机器人。

为什么机器人训练需要Real-to-Sim-to-Real

全部由真实操作积累的纯真实数据和全部在仿真环境中积累的纯仿真数据,各自都有明显局限。

真实数据最可信,但采集成本高昂,每一条数据都需要人、机器人、场地和设备共同参与,任务失败还可能造成硬件损坏。

仿真数据相对便宜,成千上万个环境可以并行运行,物体的质量、摩擦力、位置和外观等参数也可以随意改变;但仿真场景毕竟与真实环境存在差距,一旦差距过大,机器人在仿真中学会的动作,到了现实中就未必有效。

Real-to-Sim-to-Real更像是一种平衡后的尝试:从真实的人类演示或机器人操作中获得动作依据;然后,在仿真中重建手、物体和环境,同时改变抓法、速度、位置、重量和摩擦等条件,自动生成大量成功与失败样本;最后用这些数据训练策略,再部署到真实机器人。

这样,一次真实演示就不再只是一条单独的数据,而是可以成为一整批训练数据的起点。

近年来,无论MimicGen、DexMimicGen,还是面向灵巧手和人形机器人的Human-to-Sim、Real-to-Sim研究,都已经表明Real-to-Sim-to-Real成为了机器人训练数据扩增的重要方向。

然而,值得注意的是,在整条Real-to-Sim-to-Real的路线中,一个关键部分仍然缺失——触觉。

让触觉进入Real-to-Sim-to-Real

现有的Real-to-Sim方法通常从视频中恢复手部姿态和物体运动。这会导致,视频虽然能够告诉我们手指移动到了哪里,物体如何旋转和移动,抓取动作是否最终完成;却难以回答,哪根手指真正接触了物体,接触从什么时候开始,每根手指施加了多大的力,物体是否正在发生轻微滑动,以及人是在轻触、稳定抓持,还是用力挤压。

导致这一问题出现的原因很简单,手指最后停在物体表面,不代表它只施加了刚好接触的力。人抓住杯子后,通常还会继续产生一定的闭合力。这个闭合力不会明显改变手指在视频中的位置,却决定了杯子能否被稳定拿住。

因此,视觉恢复出来的手部姿态可能看起来完全正确,但仿真中的握力仍可能是错误的。

近日,由斯坦福大学、得州农工大学、耶鲁大学和2077AI团队共同完成的一项研究《TouchTwin: Scaling Human Touch Data via Real-to-Sim-to-Real》尝试回答这一问题。该研究同时入选 CoRL 2026 Late-Breaking Results。

TouchTwin研究的核心目标,是将人类真实操作中的触觉带入物理仿真,让仿真在复现“手怎么动”的同时,复现“手怎样与物体接触”。

从结论上看,在TouchTwin的实验中:只模仿视频中的手指姿态,仿真握力只有真人的0.31倍;加入触觉手套测得的真实压力后,仿真握力达到真人的0.99倍,即基本与真人握力相同。

实验操作上,TouchTwin使用了从TouchScale数据集中选出的真实操作记录。TouchScale是一个在统一传感器、统一采集与同步流程下构建的500小时人类视觉-触觉数据集,其中核心的高分辨率双手全掌触觉数据来自途见科技研发的TachinGlove柔性触觉数据采集手套。具体而言,TouchScale的采集系统包括一台头戴RGB-D相机、两台腕部RGB相机、双手高密度触觉手套,以及与视频同步的全手触觉数据。

以此为基础,TouchTwin的整个实验流程可以概括为:真实的人类操作→视频恢复手和物体的运动→触觉手套补充接触位置、时间和压力→在MuJoCo中建立数字手和数字物体→触觉驱动的物理重放→改变抓法、重量、摩擦、速度和扰动→生成新的成功与失败样本→训练接触预测模型和机器人策略。

图片

整个过程中,触觉手套不再是附加传感器,而是成为了仿真的物理锚点。

首先,它告诉仿真哪里发生了真实接触。

视觉中的接触经常被手指和物体遮挡,手套则可以直接记录受力区域和发生位置,帮助系统判断哪根手指真正接触到了物体。

其次,它告诉仿真接触发生的时间。

手套可以记录接触何时开始、何时增强、何时减弱和释放。对于机器人而言,这些时间信息非常重要。对于拧瓶盖、拔插零件、拉拉链等任务,动作是否成功往往取决于接触状态发生变化的瞬间。

然后,它告诉仿真应该使用多大的力。

视觉负责恢复手指的大致位置,触觉则决定每根手指在该位置上还应产生多少闭合力。这使仿真不再只是动作动画,而是成为具有真实接触依据的物理交互。

触觉如何放大一次采集

完成一次触觉约束的物理重放后,TouchTwin可以改变其中的条件。例如,换一种抓法,改变手指闭合力度,加快手腕运动,降低手和杯子之间的摩擦力,增加杯子的重量,给手腕增加摇晃和外部扰动,等等。

此时,物理引擎会自动计算结果:杯子是否稳定、是否滑动、是否旋转、是否掉落,以及每个接触点承受了多大的力。

由此,一次成功的人类抓取操作可以衍生出多种新的训练数据,包括不同抓法下的成功样本,握力不足导致的滑落样本,摩擦力不足导致的失败样本,物体变重后的力调整样本,快速运动或外部扰动下的稳定性样本,等等。这些样本不仅带有动作和图像,还带有逐点接触、压力以及成功或失败结果。

这恰好展现出仿真对触觉数据最重要的放大作用。

对于触觉手套用户,TouchTwin展示了如何把一只配备高密度触觉传感器单元(taxel)的真实触觉手套映射到仿真环境的数字手表面,并利用真实触觉约束MuJoCo中的接触过程,使其成为物理重建、数据扩增和策略训练的一部分。

实验结果说明了什么

TouchTwin使用触觉约束的仿真数据训练接触预测模型后:接触预测F1从0.778提升至0.890;真实接触帧漏检率从32.2%下降至13.1%;手指按压持续时间误差从1.01秒下降至0.61秒。

图片

在手部策略实验中:只学习视频手势的策略,在20条未见记录中成功17条;使用视觉物理重放训练的策略成功15条;使用触觉约束重放训练的策略成功20条。

在36组包含抓法和物理扰动的仿真测试中,触觉约束策略成功35组。

图片

这些结果表明,引入触觉并非简单增加了一种传感信号,而是彻底改变了仿真数据的物理质量。触觉手套因此不再只是输出一组传感器数值,而是为仿真提供了真实世界的接触边界条件。

触觉与仿真相得益彰

TouchTwin还展示了一个非常有意思的方向。

真实手套不可能覆盖手部每一毫米区域,例如手掌中心和部分指根位置可能没有传感器。但当真实手部动作和已有触觉被重建到仿真后,数字手可以计算未覆盖区域的潜在接触。

实验演示了一个手掌按压杯子的例子。真实手套在该区域没有taxel,因此读数为零,仿真却可以计算这部分手掌皮肤与杯子之间的法向力。虽然这些数据仅为仿真推断,并不是真实测量,但在经过真实触觉校准后,可以成为补充全手接触分布的重要手段。

于是,真实手套负责提供可信锚点,仿真负责扩展感知范围,并没有因为引入一种新的触觉模态产生干扰,反而实现了相得益彰的效果。

以TouchTwin为起点

TouchTwin最重要的启示,是重新定义了触觉手套在具身智能体系中的位置。

未来的完整数据链路可能是:高密度触觉手套→自然人类操作采集→触觉约束的数字孪生→物理扰动与数据扩增→触觉表征和机器人策略训练→真实机器人部署。在这条链路中,手套不只是硬件终端,更成为连接真实世界、物理仿真和机器人学习的接口。

值得注意的是,TouchTwin当前主要使用法向压力来约束手指闭合,对于拧瓶盖、插拔、擦拭、旋转物体和防止滑落等任务,切向力同样重要。TachinGlove柔性触觉数据采集手套正好能够填补这一缺口,不仅能提供高密度法向信息,还能记录剪切相关信号。

如果说TouchTwin已经证明了真实压力可以修正仿真握力,那么进一步引入剪切和滑移信息,则有望让仿真从“抓得住”走向“操作得稳”。

值得注意的是,虽然TouchTwin已经证明了未来完整数据链路的可行性和发展潜力,但其目前仍是一项早期研究,没有解决所有触觉仿真问题。具体而言,论文中的策略全部在仿真资产上运行,尚未完成真实机器人闭环验证;接触预测和策略实验主要集中在杯子任务,测试样本量相对有限。

从一次真实抓握,到千万次可控训练,触觉手套正在成为机器人时代重要的数据引擎。

(注:文中图片及视频均来自论文原文)

参考资料:

1. TouchTwin:https://touchtwin.github.io/

2. TouchTwin Paper:https://touchtwin.github.io/paper/touchtwin-corl-lbr.pdf

3. TouchScale:https://touch-scale.github.io/

4. MuJoCo:https://mujoco.org/

5. NVIDIA Isaac Sim:https://developer.nvidia.com/isaac/sim

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐