论文《T-Rex: Tactile-Reactive Dexterous Manipulation》

你看过机器人剥鸡蛋、拧灯泡、翻书页吗？大概率见过——但仔细看，会发现它们的动作总带着一种“小心翼翼的生硬”：要么握得太紧，把鸡蛋捏碎；要么力道不够，让书页滑掉。

就像蒙上眼睛、戴上厚手套去做精细活儿，再聪明的视觉模型也无从下手。加州大学伯克利分校、英伟达、斯坦福大学等机构联合发布了一项研究 T-Rex，正是冲着这个缺口来的。它给机器人补上了长期缺失的一项能力——基于实时触觉的灵巧操作。

｜剥鸡蛋、拧灯泡、翻书页：难在哪？就难在“手感”

1.剥鸡蛋：要先用恰到好处的力敲开蛋壳，再沿着裂缝把壳一片片揭下来。手劲稍大，蛋白就被抠破；稍小，又撕不动。鸡蛋是软的、滑的、还会滚，每一步都得靠指尖“试”着来。

2.拧灯泡：螺纹能不能对上、拧到什么程度算“到位”，摄像头只能看个大概。真正决定成败的，是旋转时指尖传来的那一点点阻力反馈——拧太紧可能损坏灯座，拧不到位又接触不良。

3.翻书页：指尖要刚好勾起薄纸的一角，力度轻了，纸会滑走；重了，会扯破纸或一次带过好几页。这一“勾”，靠的是指尖对纸边那一点触感，而不是眼睛。

这三件事的共同点，指向同一个关键：机器人的“手”必须能实时感知接触时的力、滑移和形变，并据此立刻调整动作。而这，正是以往机器人最缺的一环。T-Rex 团队为了让机器人学会这些“手感”，用 Manus 数据手套捕捉人手每一根手指的动作，再遥操作给机械手，把“手感”一点点教给机器人。

｜机器人“会看不会摸”

这两年，具身智能、视觉-语言-动作（VLA）大模型是绝对热词。这类模型的思路很直接：给机器人装一个摄像头，让它“看懂”画面和语言指令，再端到端输出动作。抓取、移动、摆放……确实越来越熟练。

但一旦任务从“把东西从一个地方搬到另一个地方”，升级成“翻书页”“转移鸡蛋”“挤牙膏”“拧灯泡”，机器人就开始露怯。

翻书页，指尖的力度要刚好能勾起纸边，又不至于扯破纸；转移鸡蛋，要感知它会不会滑脱、捏紧到什么程度；拧灯泡，要靠螺纹反馈判断有没有拧到位。这些动作的共同点是：结果几乎完全取决于“手感”，而手感来自指尖在接触瞬间的力、滑移和形变信息。

视觉能看到物体在哪、形状如何，却很难看到“我是不是捏得太紧”“纸有没有被指尖勾住”。这正是研究团队指出的结构性缺口：在很多 VLA 模型里，触觉要么被完全忽略，要么被当成一组静态的附加信号，从未被当作一条需要独立处理、高频响应的感知通道。

｜“手的记忆”：100小时触觉数据

触觉研究长期卡壳的一大原因，就是数据太稀缺、也太难标——画面可以靠摄像头轻松录，但“指尖感觉到了什么”却很难捕捉。

T-Rex 团队的做法，是搭建一套触觉同步的遥操作数据采集平台：操作员戴上 Manus 数据手套和 Vive 追踪器，隔着屏幕遥操作 Dexmate Vega-1 双臂机器人（搭配 Sharpa Wave 灵巧手），机器人同步记录手部动作和指尖触觉信号。这样采集到的示范数据，每一帧都带着“手的记忆”。

最终他们攒下一份 100 小时的触觉丰富数据集，包含 7700 多条轨迹、22 个基础运动原语（抓、拿、切、擦、拧、压等），覆盖 200 多种日常物体。更聪明的是，他们刻意把复杂任务拆解成一个个“运动基元”优先采集——就像先练好运球、传球的基本功，而不是一上来就练整套战术。这种数据高效的配方，让“手的记忆”既够用又不贵。

一个常见的直觉做法，是直接把触觉当一路输入“塞”进去。但触觉信号天然高频、细碎、变化快，硬塞进以视觉为主、低频输出的模型里，往往反而干扰原有的能力。

T-Rex 的解法，是把两者“分工”开——用一套可变速率的混合专家（Mixture-of-Transformers）架构，让三个专家各管一摊：

• 潜势专家（Latent Expert）：处理视觉和语言，预测未来画面，负责“看懂要做什么”；

• 动作专家（Action Expert）：以约 5Hz 的低频，规划整体的动作轨迹；

• 触觉专家（Tactile Expert）：以约 20Hz 的高频，专门处理指尖触觉，做动作的实时修正。

动作和触觉之间用“级联去噪”串联：动作专家先生成一个大致轨迹，触觉专家再根据指尖的实时信号逐帧精修；执行时两者异步运行——低频负责规划方向，高频负责应对“手感”变化。简单说，就是大脑决定“往哪走”，手指决定“怎么摸”，各不耽误。

为了让机器人在物理世界里更聪明，团队还用 2 万多小时的人类第一视角视频做预训练，让模型先学会“人是怎么用手的”。

团队在 12 项真实世界的接触密集型任务上做了验证：翻书页、转移鸡蛋、擦盘子、挤牙膏、分纸杯、整理麻将、开锁、补充药片、酸碱中和、抽取卡片、发扑克牌、拧灯泡——每一项都需要精细的力控和形变感知。

结果，T-Rex 的平均成功率达到 65%，比此前最强的基线方法 EgoScale（35%）高出整整 30 个百分点，也明显领先于其他对比方法。消融实验进一步确认了触觉的价值：一旦去掉触觉输入，成功率明显下滑。换句话说，这一路上扬的分数，靠的正是那套被认真对待的“手感”。

T-Rex 最值得注意的地方，不是又刷高了一个指标，而是它重新定义了一组关系：触觉不是视觉的附属品，而是需要独立架构、独立处理的核心感知维度。

这背后指向一个更底层的判断——物理智能要真正落地，机器人不仅要“看懂世界”，更要“接触世界”。而“手感”这一环，可能正是从“能搬东西的机器”到“能做精细家务的助手”之间的那道分水岭。