0. 简介

机器人夹住一个杯子时，相机通常能看出杯子的位置和外形，却很难直接回答另一些问题：指尖是否已经接触杯壁，接触处有没有滑动，杯壁是否正在变形，继续加力会不会把它压坏。触觉分类研究的就是怎样从接触产生的信号中判断这些属性和状态。读懂这条技术路线，需要把传感器、探索动作、数据划分、分类模型和控制反馈连起来看。一个分类器即使在离线数据上表现很好，也可能因为延迟、错误标注或采集条件变化，在机器人真正抓取时失效。

接触密集型操作的模仿学习研究关注机器人怎样学会动作，本文则把观察位置移到指尖：机器人先获得什么证据，再根据这些证据作出什么判断，最后怎样用判断结果修正动作。两种视角在闭环操作处汇合，但触觉分类与模仿学习各有自己的训练目标。前者通常预测材质、属性或接触状态，后者通常根据观测预测动作。理解这个区别，才能判断一篇论文究竟改善了感知，还是改善了操作能力。

1. 先把问题说清楚：机器人究竟在“分”什么

1.1 材料类别、物体身份和接触状态，不能混成一个任务

把木板、橡胶和织物分开，是材质分类；判断表面粗糙还是光滑，是属性识别；区分杯子、钥匙和瓶子，是物体识别；判断指尖处于未接触、稳定接触还是滑移状态，则是接触状态分类。它们可能使用同一只触觉传感器，也可能共享编码网络，但标签的含义、需要的动作和评价方法都不同。例如，“柔软”可以同时描述海绵、布料和硅胶，不能与“硅胶”作为同一层级的互斥类别。设计标签时应先决定是在识别材料名称，还是识别对操作有用的物理属性。[1–4]

直觉理解：把触觉任务想成填写物品档案：“橡胶”填写在材料栏，“柔软”填写在属性栏，“正在滑动”填写在当前状态栏。这里的关键是，这几栏可以同时成立，却不能当成同一道单选题。换句话说，先定义标签之间能否共存，才知道模型应该输出一个类别、多个属性，还是一段随时间变化的状态。

触觉研究中还有大量回归任务，例如估计接触力、物体相对位姿和局部形变。回归输出连续数值，分类输出离散类别或类别概率，两者常在同一系统中配合。把连续滑动速度划成几个等级，可以转成分类问题，但会损失等级内部的信息；把“稳定”和“滑移”两个标签用于抓取控制，则需要接受状态边界并不总是清晰。本文以分类为主线，同时保留与力估计、位姿估计和动作学习的接口，避免让读者误以为机器人只需输出一个类别就能完成操作。

图 1：TVL 将局部触觉、外部视觉与属性描述联系起来。图中的“柔软”“编织”等词可以同时描述一个对象，适合解释属性识别与互斥材质分类的区别；它没有展示动作控制。[10] 图片来源：TVL 官方项目页。

1.2 触觉读数包含物体，也包含机器人自己的动作

同一块布料，轻轻按压与快速扫过得到的信号不同；同一块橡胶，在不同载荷下留下的接触面积和形变也不同。传感器读数是物体属性、动作条件、接触几何和传感器自身特性共同作用的结果。模型如果只看信号、不知道采集条件，就可能把“按得更重”误认为“材料更硬”，或者把“扫描得更快”误认为“表面更粗糙”。材料、形状和位姿经常同时改变观测，因此需要放在同一个感知框架中分析。[3]

可以用一个条件概率表达分类器真正需要解决的问题：在已知过去一段触觉观测以及相关动作条件后，推断目标类别。这里使用时间窗口，而非只使用一帧，是因为滑移、黏弹性和摩擦振动本来就是随时间展开的现象。对于只靠单次按压仍无法区分的类别，还需要选择下一次触摸动作。这样的任务已经包含主动感知：机器人一边移动，一边改善判断所需的证据，而不是等待传感器自动给出完整答案。

$${\hat{y}}_t=\arg \underset{y}{\max }{p}_{\theta }\left(y\mid {\mathbf{x}}_{t-W+1:t},{\mathbf{u}}_{t-W+1:t},\mathbf{c}\right)$$

其中，${\hat{y}}_t$ 是当前预测类别，${\mathbf{x}}_{t-W+1:t}$ 是长度为 $W$ 的触觉历史窗口，${\mathbf{u}}_{t-W+1:t}$ 表示扫描速度、压入位移等动作条件，$\mathbf{c}$ 可以包含传感器身份或已知环境条件，$\theta$ 是模型参数。这个表达式不要求所有变量都能精确测量，但提醒我们记录可能影响信号的条件。实际部署若无法得到某个变量，训练和测试也应按这种缺失情况设计，不能在实验中依赖部署时拿不到的信息。

2. 从物理接触到可用信息

2.1 换能、感知与操作是三个不同的层次

一套触觉系统首先要把物理刺激转换成电信号或图像，这属于换能层；接着从信号中识别材料、形状或接触状态，这属于感知层；最后根据判断调整抓握、移动或受力，这属于操作层。三层的输出不能混用：测到了压力变化，不代表已经知道物体在滑动；判断发生滑移，也不代表已经找到合适的补救动作。实际开发应逐层检查信息是否足够，再决定是改进传感器、识别模型，还是动作策略。[1–3]

以视觉式触觉传感器（Vision-Based Tactile Sensors，VBTS） 为例，物体接触柔软表面后，内部相机可以通过标记点位移或像素强度变化观察形变。按照换能机制，还可以区分简单标记点、形态标记点、反射层和透明层等实现。外观上都像“小相机加软垫”的传感器，后端处理却可能完全不同：有的主要跟踪标记点位移，有的主要解释颜色和亮度，有的把几种线索结合起来。因此，算法输入需要与传感器的实际观测机制对应。[4]

技术层次	输入	输出	需要回答的问题
换能与采集	压力、振动、温度、表面形变	电信号、触觉图像与时间戳	传感器实际测到了什么？
表征与感知	已标定的信号及动作条件	材质、属性、位姿或接触状态	哪些变化来自目标，哪些来自动作？
融合与状态估计	触觉、视觉、力觉、本体状态	对当前接触过程的联合判断	单一传感器遗漏了什么？
策略与控制	状态、任务目标、动作约束	抓握调整、参考轨迹、受力调节	接下来怎样动作才能完成任务？

2.2 表征模型与动作策略怎样分工

高分辨率触觉图像形成以后，可以有几种不同用途。GelSight 和 DIGIT 提供接触观测，VisGel 和 Touch and Go 利用视觉—触觉配对数据学习两种模态的联系，Sparsh 先学习能够迁移到多个任务的触觉表征，TVL 则把触觉与视觉、语言放到共同语义空间。这些模块提供的是不同形式的信息，后面仍需连接具体的分类头、状态估计器或动作策略。选择方法时，应先明确自己缺少的是训练数据、可迁移表征，还是执行反馈。[5–10]

接触密集型操作常采用 DMP、扩散策略、逆强化学习和离线强化学习。它们与触觉可以结合，但不宜列成触觉分类算法的互斥类别。扩散模型可以用于生成动作，也可以用于其他建模任务；视觉—触觉融合描述输入组织方式；行为克隆描述训练目标；预训练描述训练过程。这些维度可以出现在同一个系统中。本文据此把感知模型和动作策略分开介绍，再说明它们在控制回路里如何连接，使分类框架与实现流程保持一致。

3. 按识别目标理解触觉：哪些证据真正有用

3.1 材质与纹理：为什么“扫过去”常比“按一下”更有信息

按压主要暴露局部几何与受力形变，滑动则会把表面空间纹理转化为时间上的振动和摩擦变化。对于近似周期的表面结构，扫描速度增加，传感器经历纹理起伏的频率通常也会增加。因此，频谱中某个峰值的位置不能直接当成材料身份；至少要控制速度，或者记录速度并作为条件输入。振动、摩擦、粗糙度和局部纹理图像都能提供识别线索，但不同传感方案需要采用与其测量机制对应的数据表示。[3]

$$f\approx \frac{v}{\lambda }$$

其中，$f$ 是由纹理扫描产生的一个特征频率，$v$ 是沿纹理方向的相对扫描速度，$\lambda$ 是近似周期纹理的空间间距。这是解释速度与频率关系的简化模型，不意味着自然材料都具有单一周期，也不包括复杂黏滑、接触面积变化和传感器自身共振。工程上更稳妥的做法，是在多个速度和载荷条件下采集同一材料，让模型学习稳定线索，并用未参与训练的速度条件检验它是否依赖了采集习惯。

难点提示：用手指慢慢划过梳齿和快速划过梳齿，齿距没有改变，感受到的振动节奏却变了。直观理解是，机器人测到的节奏同时包含表面结构与移动速度。进一步看，如果训练数据里每种材料总用固定速度扫描，分类器便可能记住操作者的习惯；换一种扫描速度，就暴露出这种捷径。速度覆盖与独立测试因此属于实验设计本身。

3.2 软硬判断：要看形变，也要知道施加了什么

一张触觉图像中的大接触面积，可能来自更柔软的物体，也可能来自更大的按压力、不同曲率或不同的传感器凝胶。判断柔软度时，需要把外部物体与传感器自身的变形共同考虑。对某个受控加载区间，可以比较力随压入位移变化的斜率；若材料存在明显黏弹性，还应记录加载速度、保压过程和卸载恢复。把这些过程压成“软”和“硬”两个标签虽然便于训练，但标签必须对应清楚的实验条件。[3,5]

$$k_{\mathrm{eff}}\approx \frac{\Delta F_n}{\Delta \delta }$$

其中，$k_{\mathrm{eff}}$ 是特定接触配置下的等效刚度，$\Delta F_n$ 是法向载荷变化，$\Delta \delta$ 是压入位移变化。它受到物体形状、支撑方式、接触面积和传感器柔顺性的共同影响，不能不加条件地等同于材料的杨氏模量。对入门实验，可以先控制几何和加载轨迹，再做相对软硬分类；若目标是估计材料参数，则需要更明确的接触模型、标定和独立测量，不能仅凭分类准确率宣称恢复了材料力学性质。

3.3 物体识别与滑移检测：一个需要积累空间证据，一个需要及时发现变化

单次触摸只能观察物体很小的一部分。指尖摸到一个平面，并不能知道整个物体是杯子、盒子还是桌面；如果任务是物体身份识别，通常还需要多个接触点、手指位置、关节状态或探索历史。这里的困难不只在网络表达能力，还在信息是否足够。视觉可以提供整体形状，触觉补充局部曲率、边缘与接触细节，二者融合才有机会减少单一模态的歧义。把所有触觉帧直接看成普通物体照片，会忽略这种局部视野限制。[2–3,7]

滑移检测面对的是另一类问题：系统必须在物体掉落前发现相对运动或局部滑移线索。可用证据包括标记点的切向位移、接触区域的变化、振动突变，以及多指读数之间的关系。整体滑移已经发生时才报警，与在局部滑移初期给出预警，难度和用途不同。评价时必须说明“滑移开始”的定义和标签来自哪里，否则两个都叫滑移检测的系统，可能一个依赖事后窗口分类，另一个才真正支持在线反馈。[2,5,9]

4. 传感器决定了输入，但不会直接给出答案

4.1 压力、振动和热响应：不同换能方式各自保留了什么

压阻式、电容式等触觉阵列通常把接触转成多个测点的电信号，适合观察接触分布及其变化。压电式或其他动态传感方案适合记录快速变化和振动，但某些实现并不适合稳定测量长期静态载荷。热响应可以为材料判断提供另一类证据，例如接触后的热交换过程，却会受到初始温度、接触面积和持续时间影响。选择传感器时，应把量程、带宽、噪声、迟滞、漂移和耐用性放在同一张需求表里，而不是只比较空间分辨率。[1–3]

信号或传感方式	常见输入形式	对分类有用的线索	需要警惕的混淆因素
压阻、电容等阵列	多通道序列、二维接触分布	接触位置、载荷分布、形变变化	迟滞、漂移、串扰、饱和
压电或动态触觉信号	高频时间序列	扫描振动、快速接触事件	扫描速度、电机振动、采样带宽
热感知	温度或热流变化序列	与热交换有关的材料差异	初始温度、接触时长、环境温度
视觉式触觉	凝胶形变图像、标记点运动	局部几何、切向形变、接触变化	光照、凝胶老化、标记点与个体差异
腕部力/力矩	六维合力与力矩序列	整体接触负载、卡滞与受力事件	重力、惯性、工具与其他接触叠加

4.2 GelSight 与 DIGIT：相机看到的是软表面的形变

视觉式触觉传感器通常让物体接触一层柔软介质，再由内部相机观察受控光照下的变化。GelSight 的代表性工作详细讨论了从弹性表面形变估计局部几何，以及进一步推断接触力和滑移的方法；DIGIT 则强调紧凑、低成本和便于安装到多指手上的实现。虽然它们输出的也是图像，图像内容却来自接触形变，并非普通外部相机拍到的物体外观。这个区别解释了为何视觉网络可以复用，而训练分布和物理解释仍需专门处理。[5–6]

Li 等人的分类进一步提醒我们，标记点运动与像素强度变化并不是同一观测机制。使用标记点时，位移和局部密度变化可以提供形变线索；利用反射层时，颜色和亮度变化可以在适当标定与模型假设下关联到表面几何。实际传感器也可能组合多种机制。对分类模型来说，应先确认最稳定的信息来自哪里，再决定是输入原始图像、背景差分、标记点位移，还是它们的组合，不能预设所有视觉式触觉都适合相同的预处理。[4–5]

图 2：TVL 的手持采集装置把 DIGIT 与外部相机固定在一起，使视觉和触觉在时间与接触位置上建立对应。右侧展示按压与滑动两种动作；这是采集装置结构图，不是材料受力的测量曲线。

4.3 力觉与触觉互补，但不能互相替代

腕部六维力/力矩传感器报告作用在测量位置的合力与合力矩，适合反映整体受力和卡滞；指尖触觉则能保留局部接触分布和细节。不同的局部接触布局可能产生相近的合力，仅靠腕部读数无法唯一恢复指尖哪里发生滑动。反过来，单个指尖的清晰触觉图像也不一定反映工具另一处的碰撞。因此，触觉分类系统若加入力觉，应把二者当作不同尺度的证据，分别处理标定、时序和坐标变换，再检查融合后到底改善了哪类错误。

接触任务也不必始终依赖触觉传感器。受控环境中的一些操作可以通过本体感知、机械柔顺性和视觉完成，但这不说明触觉没有价值，也不说明加上触觉必然改善结果。最直接的判断方法，是构造视觉存在遮挡、摩擦改变或接触几何扰动的测试条件，并比较相同策略在不同输入配置下的表现。如果触觉只在训练集上带来增益，却无法减少这些实际失败，就应检查它是否增加了噪声、延迟，或让模型依赖了不稳定的传感器特征。

5. 从手工特征到触觉预训练：模型到底学了什么

5.1 小数据先做可解释基线

对于压力或振动序列，一个值得先做的基线是提取均值、标准差、峰峰值、变化率和频带能量，再训练线性分类器、支持向量机或其他小型模型。这些方法不保证优于深度网络，却有助于定位问题：模型主要依赖平均幅值，可能是在利用按压力；主要依赖频谱位置，可能与扫描速度有关；某个通道始终决定结果，可能是通道标定或布线噪声造成的捷径。先建立这样的参照，比直接训练一个大网络更容易发现采集协议中的缺陷。[3]

手工特征也有明确局限。把整段窗口压成几个统计量，会丢失事件发生的顺序；两段频谱相近的信号，也可能具有不同的瞬时接触过程。频带边界必须结合采样率和传感器带宽解释，不能把示例代码中的“低、中、高三个频段”直接当作普适物理划分。对于滑移初期这种短暂事件，还应比较更短窗口、局部频谱或时频特征，检查统计平均是否淹没了真正需要检测的变化。

5.2 时序网络和图像网络解决的是不同输入结构

多通道序列可以用一维卷积、时序卷积网络或循环网络建模，重点是保留通道之间和时间上的关系。视觉式触觉图像可以用二维卷积或视觉 Transformer 编码，再通过多帧聚合利用时间信息。若传感器是一张不规则分布的皮肤阵列，把相邻编号直接看作空间相邻可能引入错误结构，必要时应根据测点几何设计图结构或位置编码。模型选择首先受输入的空间、时间结构约束，网络名称只能回答其中一部分问题。

对在线分类还要明确因果性。如果模型在时刻 $t$ 的输出使用了 $t$ 之后的图像，它只能用于离线分析；如果训练时使用双向序列编码，部署却只能获得过去数据，训练与执行条件就不一致。二维图像模型同样存在这个问题，尤其在标注滑移起点时，事后挑选的窗口可能已经包含物体明显滑落的画面。应把窗口末端对应为当前决策时刻，保证预处理、归一化和特征计算都不访问未来数据，再测实际延迟。

5.3 Sparsh：先学习通用表征，再用标签定义任务

Sparsh 的出发点是，触觉图像可以收集得较多，但接触力、滑移和位姿等精确标签采集成本更高。它比较掩码重建、自蒸馏和联合嵌入预测等自监督学习方法，先学习触觉表示，再评估下游任务。官方项目页介绍的 TacBench 包含六项以触觉为中心的任务，并展示了触觉表征如何用于力相关估计、位姿估计和操作策略。对分类实践者来说，最直接的用途是使用预训练编码器提取特征，先训练一个小分类头，再决定是否需要整体微调。[9]

直觉理解：预训练编码器类似学会观察纹理和形变的检验员，分类头则规定这次检验要填写哪些结论。这里要厘清的是，善于观察并不意味着自动懂得每个物理量的单位和边界。这意味着，把编码器换成更大模型之后，仍要核对标签来源与测试条件；只有下游实验才能说明它是否具备当前任务需要的辨别能力。

这些方法的监督信号来自数据自身。掩码重建让模型根据可见区域恢复被遮住的内容；自蒸馏让学生网络在不同观测变换下学习教师网络给出的表示；联合嵌入预测则在特征空间预测缺失或目标区域，减少逐像素重建的负担。它们改变了模型被要求保留的信息，却没有直接赋予“摩擦系数”或“滑移”这样的物理意义。因此，预训练之后仍需用下游标签和受控测试检查：表示究竟保留了接触结构，还是主要保留光照、标记点和背景。[9]

图 3：从左到右依次为数据来源、像素重建、自蒸馏和联合嵌入预测。黑色块表示遮挡区域，不同训练目标决定编码器需要保留哪些信息；下游分类仍需另接任务头并进行评估。

这里需要核对一个数据口径：项目页描述整理的数据总量约为 661,000 条样本，而用于自监督预训练的表述是 460,000 余张触觉图像。二者分别对应整理后的数据集合与实际预训练使用范围，不能混写成同一个数字。项目页还强调背景处理和短时间窗口对表征学习的作用。这些细节比单独引用一个性能提升百分比更有助于复现，因为传感器背景、凝胶标记和时间编码方式都可能影响迁移结果。[9]

5.4 TVL：开放词汇分类增加了语义，也增加了标签审计问题

TVL 把触觉观测与视觉、文本描述对齐，使系统能够围绕“粗糙”“光滑”“柔软”等开放词汇建立联系。其官方项目页给出的接触配对总量为 43,741 组，论文常近似写成 44K；数据由已有的 SSVTP 部分与新增的人类采集部分构成。论文摘要将英文标签来源概括为约 10% 人工标注、90% GPT-4V 伪标签。它为触觉语义学习提供了一条路径，但文本描述是否对应真实接触属性，仍需要独立判断。[10]

实现这类对齐时，可以分别把触觉和文本编码成归一化向量，让配对样本相似、未配对样本相离。模型训练后，就能比较触觉向量与候选属性描述的相似度，完成开放词汇检索或分类。TVL 还直接考虑触觉与语言之间的对齐，而不只依靠视觉作为中间联系。下面给出常见的单向对比目标示意，用于解释机制；完整系统的对称项、视觉项和采样细节，应以论文和官方代码为准。[10]

$${\mathcal{L}}_{T\to L}=-\frac{1}{B}\sum _{i=1}^B\log \frac{\exp ({\mathbf{z}}_i^T\cdot {\mathbf{z}}_i^L/\tau )}{{\sum }_{j=1}^B\exp ({\mathbf{z}}_i^T\cdot {\mathbf{z}}_j^L/\tau )}$$

其中，$B$ 是一个训练批次的样本数，${\mathbf{z}}_i^T$ 和 ${\mathbf{z}}_i^L$ 分别是配对触觉与语言的归一化向量，$\tau$ 是控制相似度分布尖锐程度的温度参数。分子提高正确配对的相似度，分母同时比较当前批次的候选描述。但两个不同样本可能都对应“粗糙”，直接把它们视为负样本会造成冲突。多正样本、同义描述和标注审查因此会影响结果；对齐成功，也不等于模型已经得到可直接用于力控制的物理参数。

图 4：左侧表示把触觉加入已有视觉—文本表征空间，右侧展示触觉与视觉编码器如何连接投影层、语言模型和 LoRA。它说明语义对齐与描述生成的关系；图中没有机器人动作输出，不能据此推断具备力控制能力。

尤其要防止视觉印象变成触觉真值。带有毛绒外观的物体可能覆盖硬壳，看起来像金属的表面也可能只是涂层；视觉模型给出的“柔软”“冰凉”不一定经过触摸验证。TVL 官方项目页也展示了视觉伪标签出错的情况。因此，若目标是评估模型是否识别了真实材料属性，测试标签应尽量来自独立测量或明确的人工触觉标注，并把语义检索能力、物理属性分类能力和语言描述流畅度分别评价。

6. 数据怎样采，往往比模型怎样选更影响结论

…详情请参照古月居