一、先说结论

Hugging Face Daily Papers 最新一期日榜热度最高的一篇，是 LingBot-Touch: Learning Heterogeneous Tactile Representation for General Dexterous Manipulation（arXiv:2611.12806，2026 年 11 月 9 日）。它想解决的问题一句话可以说完：机器人的"手感"被传感器绑架了。压阻、磁性、视触觉三类触觉传感器的通道、分辨率、采样率、taxel 排布全都不一样，导致触觉数据没法像图像文本那样攒成一个大数据集，也就长不出一个通用的触觉基础模型。作者的解法是：把"接触"这件物理事实，从"某个传感器怎么记录它"里剥离出来，用一套统一的指尖坐标 + 一个 JEPA 式潜空间预测目标，训练一个可以在不同传感器之间复用的触觉编码器。结果相当硬：冻结的 5.46M 参数编码器插进四种主流策略，26 个真机双手任务的成功率提升 13.9 到 24.8 个百分点，而参数量只增加不到 0.2%。图1：LingBot-Touch 总览。上排是 5,000 小时、多来源、异构且稀疏的触觉数据；下排是同一个编码器训练完成后能做的事——冻结特征可解码接触力/位置/范围/动态，token 可直接插进模仿学习、VLA 和强化学习策略。## 二、触觉缺的不是传感器，是三样东西论文开头把现状讲得很直白：压阻式、磁式、视触觉传感器都已经商业化（图 1 上排），但触觉依然是"早期模态"，缺的是让视觉和语言 scale 起来的那三件套：- 没有统一的输入格式。每种传感器自己定义通道、layout、分辨率、采样率，一个传感器的读数对另一个传感器训练出来的模型毫无意义。- 没有大规模语料。数据无法跨传感器合并，而每一个小时的数据都要靠一只装了传感器的手去真实地摸世界。- 没有公认的配方。“触觉有用"的证据散落在各种特定传感器、特定任务的研究里，缺少一个共同表征来做横向比较。作者的关键观察是：这三件事共享同一个根——触觉数据被生产它的传感器的物理特性绑住了，但"接触"本身没有。指尖压在一个棱上，无论记录它的是磁力计、电阻阵列还是凝胶后面的相机，都是同一个事件。所以只要把传感器相关的物理量从输入里拿掉，接触的表示就可以共享。## 三、方法：三层设计把异构信号塞进一个编码器1）统一指尖空间 + 五维地址。 taxel 的索引只在某个传感器内部有意义，跨传感器无法对应。作者的做法是给每个测量点一个连续的三维坐标加一个手指 id，用每个传感器自己的几何资产做对齐、缩放、平移，把所有传感器放进同一个"标准指尖空间”（单位半径参考几何）。每个有效 token 拿到一个五维地址 (时间窗, 手指, x, y, z)，这个地址只通过 5D RoPE 进入注意力的 Q/K，所以不需要固定 token 数，也不需要传感器专属的位置表——共享 backbone 因此能吃下不同排布，还能迁移到没见过的传感器。2）模态专属 tokenizer + 共享 Haptic Transformer。 传感器相关的参数被压缩到网络最边缘：三类传感器各有一个两层 MLP tokenizer，把单个 taxel 连续两帧的 6 个数嵌成一个 token；之后全部进入共享的 Haptic Transformer（HaT）。也就是说，异构性只存在于边界，中间是一个共用的大脑。3）Tactile-JEPA：在潜空间里预测接触，而不是重建信号。 训练目标是给定部分可见的片段，预测完整片段在潜空间里的表示（EMA target encoder 提供目标，四层特征归一化后拼接，stop-gradient）。掩码是空间级的：被遮住的 taxel 在整段 clip 里全部隐藏，模型只能靠周围 taxel 和它们的时序演化去推断。这里有一个工程细节很有意思：触觉信号极度稀疏，直接上 80% 掩码会崩。因为如果接触只涉及 k 个 taxel，均匀掩码下这 k 个全被挡住的概率约 0.8^k，大量样本的上下文里根本没有接触，而 target 里有——损失被不可预测的目标主导，实践中会出现梯度爆炸。作者的解法是 mask warm-up：前 300 步把掩码率从 40% 线性升到 80%，之后再固定。总预训练 20 万步，这 300 步占比可以忽略，但训练稳了。4）布局无关增强。 预训练只有三种 layout，RoPE 又如实告诉 backbone 每个点的精确坐标，模型完全可以把这三套点集背下来。所以作者把 layout 当噪声变量随机化：同一段交互给出多种采样密度（磁性 24/32/48/64/76/96 taxel，视触觉 32/96/200 虚拟 taxel），并对 taxel 位置做不超过局部间距一半的扰动。图2：LingBot-Touch 结构。异构时空信号映射到标准指尖空间，模态专属 tokenizer 产出 token，进入带 5D RoPE 的共享 Haptic Transformer；context encoder 只看可见 token，predictor 与 mask token 拼接后预测被遮位置，target encoder 由 EMA 更新。图3：预训练语料的构成。4,983 小时、464,431 个 episode、约 13.3 亿帧，覆盖压阻、磁性、视触觉三种 sensing，来自人类触觉手套与遥操作机器人手，24 类任务。## 四、数据：5,000 小时是这篇论文真正的护城河- 4,983 小时、464,431 个 episode、约 13.3 亿帧；- 压阻 2,197 小时 / 86,906 episodes，磁性 1,136 小时 / 294,871 episodes，视触觉 1,650 小时 / 82,654 episodes；- 手套采集占三分之二，遥操作（Sharpa Wave 双手，指尖带视触觉）占三分之一；- 标注只到 episode 级别的任务类别（24 类），没有任何力、接触位置、接触时序的标签——所有监督都来自潜空间预测目标。论文里有一句话我印象很深：因为小时数可以跨换能器迁移，所以要 scale 的不是"最强的传感器"，而是"能力与采集便利性之间甜点上的那个传感器"——这正是三分之二语料来自普通人能戴一整天的触觉手套的原因。## 五、结果一：冻结编码器就能读出接触物理所有 probing 实验都冻结编码器，只训一个轻量 attentive probe，所以测的是表征本身。两个平台：Sharpa Wave（视触觉，预训练里见过）和 XHand1（磁性，预训练里完全没见过）。在见过的传感器上，LingBot-Touch 把指尖力恢复到 0.81 N（FTP-1 是 2.31 N），接触中心误差 0.12 mm（FTP-1 2.19 mm），接触面积误差 0.66 个百分点（FTP-1 2.90），未来力预测误差 1.67 → 1.04 N。差距最大的是触觉到视频的检索，top-5 recall 从 16.5% 提到 72.6%——说明表征里带的是整段交互的信息，而不只是局部接触斑。在没见过的传感器上，不更新任何参数，同一编码器给出 1.32 N / 0.16 mm / 0.43 个百分点 / 1.45 N 和 47.1% 检索召回；给 FTP-1 配一个 XHand1 专属 adapter 之后，对应数字是 3.72 N / 5.89 mm / 4.39 个百分点 / 2.00 N / 6.0%。空间任务的差距超过一个数量级。图4：与 FTP-1 冻结 backbone 的对比。上排 Sharpa Wave（预训练见过），下排 XHand1（没见过）。灰柱为带各平台专属 adapter 的 FTP-1，彩柱为不做任何传感器适配的 LingBot-Touch。## 六、结果二：真机 26 个任务，四种策略全线抬升真机上用的是冻结的 LingBot-Touch-Tiny（5.46M 参数），编码 16 帧、30 Hz 的触觉窗口，交叉注意力读出压成每只手 40 个 token，作为额外条件输入并进策略。26 个双手任务（Sharpa Wave 20 个 + XHand1 6 个），每任务 200 条示教，每任务评测 20 次：- Diffusion Policy：21.6% → 35.6%（+13.9）- π0.5：48.1% → 69.9%（+21.8）- LingBot-VLA：48.3% → 73.1%（+24.8）- T-Rex：45.4% → 68.6%（+23.2）参数量代价分别是 0.16%、0.15%、0.13%。104 个"任务-策略"组合里，LingBot-Touch 配置在 89 个上是最优的，99 个上不低于原策略。而直接喂原始触觉信号，最多只有一半左右的增益，有时还会掉。图5：26 个真机任务上四种策略的平均成功率。灰色为原模型，浅色为加原始触觉，深色为加 LingBot-Touch token。## 七、结果三：仿真强化学习，以及为什么是"表征"在起作用12 个接触密集的灵巧操作任务（转核桃、转笔、转盘、拧螺母、盲抓、抓握稳定、球平衡等），PPO 三个种子：- LingBot-Touch 特征：69.0%- 任务内训练的 CNN 特征：45.6%- 原始信号：38.5%- 二值接触指示：30.3%- 不给触觉：21.4%顺序本身就有信息量：学出来的表征 > 原始信号，预训练的表征 > 任务内学的表征。差距最大的是接触连续变化的任务——转盘 97.4%（最好基线 82.9%），转笔 97.1%（最好基线 64.2%）。更关键的是稳定性：LingBot-Touch 的跨种子标准差平均 3.9、最大不超过 9.2 个百分点，而基线在转笔上能到 55、转盘上到 40——意思是有些种子解出来了，有些种子永远解不出来。图6：随预训练数据量与小模型规模的冻结探针结果。Small 在两个平台、每个任务上随数据增加单调改善；Tiny 在 4K 小时附近饱和，5K 时检索还掉了。## 八、消融里最值得记的几条- 数据越多越好，但模型要跟上。Small 从 1K 到 5K 小时每个任务都改善或持平（Sharpa Wave 上力误差 1.68 → 0.81 N，检索 42.5% → 72.6%）；Tiny 到 4K 小时后饱和甚至退化——此时瓶颈不是数据，是容量。- 跨传感器是能互相帮忙的，但要看任务。固定"自己那点数据"再混入别的传感器（331/228 小时 + 441 小时压阻 = 1000 小时），8 个"传感器-任务"里有 7 个变好，磁性一侧力误差 4.34 → 2.52 N。但固定 1000 小时总预算时，单源模型在自己的传感器上赢 7/8——空间精度依赖按自己分辨率看到自己的 layout。结论：力和动态可跨换能器迁移，空间精度有其代价。- 潜空间预测远胜信号重建。同样数据、同参数量下，VAE 的接触中心误差 3.03 mm、MAE 3.07 mm，LingBot-Touch 在 1K 小时是 0.90 mm，检索 32.1% vs 4.4%/5.6%。更说明问题的是：VAE 数据越多反而越差（3.03 → 4.08 mm，召回 4.4% → 3.1%），因为重建一个大部分是零的信号，等于奖励模型去建模背景。## 九、局限（论文自己写的）1. 真机与仿真实验还需要覆盖更多手型/本体；2. 传感器覆盖还能扩，电容式传感器因为手头数据质量不达标，没有进预训练；3. 标准几何与预训练 layout 都只针对指尖，手掌与手指其他部位的接触被低估，扩到整只手是下一步。## 十、一点工程视角的看法如果只看数字，这是一篇"数据+表征"的论文；但真正可复用的是它的工程取舍：把传感器差异压到网络最边缘的浅层投影，中间共享；用 RoPE 承载几何而不是位置表，所以能接新 layout；用潜空间预测绕开稀疏信号里绝大部分是零的问题。这三条其实不局限于触觉——任何"多来源、稀疏、无标签、硬件强相关"的传感器模态，都可以照这个骨架改。另外那个 mask warm-up（40% → 80%，300 步）值得单独记一笔：它是一个非常便宜、但没做过就会训练崩的技巧。论文主页：https://technology.robbyant.com/lingbot-touch代码与权重：https://github.com/robbyant/lingbot-touch图源：论文原文图 1/2/3/6/7/11（arXiv:2611.12806），经截图裁切后使用。