作者 | 丁文伯 清华大学深圳国际研究生院副教授，博士生导师

 

01

在机器人触觉传感器领域的研发历程

02

光电融合的传感器探索

03

更多模态融合的传感器

04

结合触觉感知与人类反馈的一体化系统

05

探索机器人触觉领域的杀手级应用

 

在机器人触觉传感器领域的研发历程

 

 

传感器是智能机器人系统的核心组件，机器人传感器包括了视觉、听觉、嗅觉、味觉、位置、压力和触觉等多种模态类型。其中，视觉传感器的发展最为成熟，但嗅觉、味觉、位置、压力和触觉传感器当前仍处于研究探索早期阶段。

 

SSR 智能感知与机器人实验室（Smart Sensing and Robotics Group，SSR）的工作聚焦于机器人触觉传感器，主要研究方向是开发高性能、多模态、智能化的柔性触觉传感器。这种传感器一般用于机器人的机械手，旨在模拟甚至超越人类手掌对物理世界的感知能力，从而使机器人可以完成各种传统意义上人类才能完成的复杂操作。

 

尤其在烟雾、黑暗或交互物体较为复杂的场景中，视觉传感器会被各种环境因素遮挡，感知能力严重受限。此时，触觉传感器可以提供比视觉传感器更好的感知能力，通过直接或近距离触摸来分辨物体外形、纹理等信息。这类场景中触觉与视觉传感器的融合协作是非常重要的，例如需要伸手到水面下摸取物体时，使用机器人自己的触觉感知能力就可以准确探测并抓取物体。

 

MTSensing 电子皮肤

 

SSR 实验室早期的工作主要探索电子皮肤类型的触觉传感器。2020 年，SSR 实验室开发出了 MTSensing，其使用的电子皮肤技术的原理是一种柔性柔性材料，基于摩擦电（接触起电）技术来感知物体信息。当这种柔性材料与物体接触时，表面会产生微小的电流，读取并分析这些电流就可以获取物体信息。MTSensing 在业内首次实现了感知物体材料和纹理类型的能力。

论文链接：

https://www.sciencedirect.com/science/article/abs/pii/S2211285521010478

由于电子皮肤的原理是感知物体表面的微小电流，可以较为准确地感知材料和纹理，这种传感器可以处理很多视觉难以分辨的物体识别场景，例如盲文识别、塑料/玻璃透明杯区分、真苹果/塑料苹果、生熟鸡蛋区分等。

 

视触觉传感器

 

但这种电子皮肤技术存在的问题是：当传感器密度提升到一定水平后，信号串扰会急剧增加，系统复杂度也会显著上升，机械手的体积、重量、元件复杂度超过可行阈值，难以进入工业化实践。因此， SSR 实验室转向了光学传感研究方向，即视触觉传感器。

 

 

 

视触觉传感器：TaTaGripper

 

视触觉传感器是通过视觉技术实现触觉感知的一类传感器，其基本原理是在传感器表面增加一块弹性体，并对弹性体内部施加光场，弹性体接触物体后产生形变，形变会改变光场，读取光场变化即可反演力学信息。

 

在这个方向上，SSR 实验室首先提出了一种对弹性球体阻塞式机械爪的改进方案，名为 TaTaGripper。这种机械爪采用柔性半球结构，内部充满特定的溶液和颗粒。该方案利用折射率匹配原理，使颗粒在特定光场下与周围溶液的折射率保持一致，从而在光学上呈现透明状态，不干扰摄像头对内部形变的观测。通过对颗粒形变过程的光学分析，机械爪不仅能够主动改变形状和硬度以抓取物体，还具备了一定的触觉感知能力。

 

 

论文链接：https://ieeexplore.ieee.org/document/10175024

 

这一方案可以轻松实现水下物体的抓取和感知，也能轻松重建物体的纹理信息。该方案还可以应对沙砾中透明物体抓取、动态水域透明物体抓取等复杂背景下的视触觉融合抓取需求，填补传统视觉方案的空白。在视觉信息高度受限（如污水坑内）的情况下，TaTaGripper 也可以实现稳定的抓取能力。

 

视触觉传感器：气动方案

 

视触觉传感器表面弹性体的杨氏模量（柔软度）与传感器的灵敏度直接相关。将上述阻塞式机械爪内部的液体换为气体，降低弹性体的杨氏模量，就可以提升传感器的灵敏度。基于这种思想，SSR 实验室提出了一种视触觉传感器气动装置。这种装置配备了柔软的气动式接触面，可以轻松实现咽拭子采样所需的高灵敏度。此外，由于使用了简单的结构、廉价的材料，其成本相比传统万元级的电学传感器系统大幅降低。

 

 

论文链接：https://ieeexplore.ieee.org/abstract/document/10342266

 

该装置也可以应用于手术刀夹取、老年患者看护（夹取勺子）等场景。

 

多模态触觉传感器

 

上述研究工作主要关注传感器的力学信息模态，也就是通过分析可见光的光场变化来感知传感器表面弹性体的受力。接下来 SSR 实验室开始探索更多可用的模态来增强传感器能力。

 

多模态传感器：M3Tac

 

团队首先探索了非可见光频谱，包括红外和紫外频段，并开发出了一种多光谱视触觉传感器 M3Tac。

 

论文链接：https://ieeexplore.ieee.org/document/10682561

 

该传感器将传感器光场的光谱扩大到了红外波段，并使用近红外光感知物体形状，中红外光感知物体温度，可见光感知物体距离。

 

这一工作的难点在于传感器表面薄膜。这种薄膜需要透射可见光，从而测量物体距离，但对红外光不能透射，因为感知形状和温度时需要分析弹性体本身。为此，SSR 开发了一种新型材料，可以完全反射红外光，而对可见光具有一定透射能力，从而使传感器达到甚至超越了人类皮肤的感知能力。它甚至可以实现万元级电学传感器无法做到的羽毛和铅笔芯抓取，也可以实现非常精准的温度感知。

 

 

SATac：全能传感器

 

在已有工作的基础上， SSR 实验室想到一些材料会根据温度变化发生形变或颜色变化，利用这种特性可以开发出一种新型多模态传感器。SSR 实验室据此提出了 SATac，这是一种使用铝酸锶材料的 All-in-one 型传感器。

 

 

论文链接：https://ieeexplore.ieee.org/abstract/document/10610373

 

这种材料在靠近物体时，其表面颜色会根据温度和压力发生相应变化。通过这种新型材料，结合简单的可见光传感器，仅需分析材料自身的颜色变化，就能够实现较为精准的力学、光学与热学多模态感知能力。相比传统的红外测温仪，该材料在高温环境中对气体的感知更加敏感。由于气体通常红外辐射弱、温度分布不稳定，传统温枪在检测高温气体时存在较大局限性；而该材料通过自身的热响应直接呈现颜色变化，从而可以更直观、准确地感知气体的高温状态。

 

MEVIG：仿生发光传感器

 

SSR 开发的另一种基于材料学创新的触觉传感器 MEVIG 是在弹性体内加入机械发光磷光体，这种发光体受力后才会发光，很适合用来组建事件相机原理的传感器。一旦弹性体内的这种磷光体发光，就可以判断传感器正在受力，从而形成事件报告。结合这样的特性，就可以让机械手夹取物体时可以精确控制力度，避免用力过度等情况。

论文链接：https://advanced.onlinelibrary.wiley.com/doi/full/10.1002/adfm.202420872

 

光电融合的传感器探索

 

如前文所述，SSR 实验室分别探索了视触觉传感器和电子皮肤两个研究方向。这两个方向各有各的优势，而经过一段时间的研究，SSR 实验室开始思考能否将两个方向融合在一起。基于这样的思想，实验室提出了 EMFinger 这项工作。

 

EMFinger：仿生光电融合手指

 

这是一种基于光电融合传感器技术的仿生手指。它在光学传感器的基础上加入了电子皮肤，使其同时具备了光学和电学感知能力。它还可以利用光学传感器天然的稳定性解决电子皮肤校准的需求，实现良好的互补。

 

EMFinger 利用光学视触觉实现精准的压力感知，并利用电学传感器实现接近觉、材质分类等能力。

 

 

论文链接：https://www.sciencedirect.com/science/article/abs/pii/S2211285523006274

EMFinger 充分利用了光学和电学传感器的功能互补性与信号正交性。具体而言，光学传感器可以准确感知距离、物体形变等信息，而电子皮肤可以准确感知物体纹理、材料等信息，且这两种传感器使用的物理信号是互不干扰的。通过这种特性，它可以轻松实现水下、视觉受限等场景的感知和抓取，以及远程遥操作、低频信号收发等能力。

 

更多模态融合的传感器

 

SuperTac：仿生多模态触觉传感器

 

SSR 实验室还探索了将更多模态融入传感器的方向。一项名为 SuperTac 的工作受到了自然界中鸽子导航原理的启发，将多种感知模态集成进了传感器薄膜上。

 

SuperTac 融合了光学、电学、磁力学等七个维度的模态，在这些模态中自由切换，还可以同大模型集成，实现精准的触觉交互。

 

UltraTac：超声触觉一体传感器

 

光学传感器存在的一个问题是，物体光照强度变化可能影响传感器精准度。为了解决这个问题，SSR 引入了超声波传感器来作为光学传感器的辅助，提出了名为 UltraTac 的超声触觉一体传感器。它通过超声波实现非接触感知，使用视触觉传感器实现接触感知。超声波可以感知物体的内部结构和材料特性，以及一些非常细小的表面形变。

 

 

 

这一工作的一大创新是解决了超声波雷达集成入光学感知薄膜时的超声波衰减和阻抗匹配问题。它不仅实现了纹理感知，还能实现接近觉、感知物体内容物甚至探测物体不可见损伤等能力。

 

结合触觉感知与人类反馈的一体化系统

 

VET 触觉感知与反馈一体装置

 

在触觉传感器领域有了深厚积累后，SSR 注意到了人类感知与反馈一体化的交互设备这个领域，开发了名为 VET 的触觉感知与反馈一体装置。

 

 

论文链接：https://arxiv.org/abs/2503.23440

 

这种设备结合了电学触觉反馈与视触觉传感器，使人类通过它进行远程操作时可以感受到反馈刺激。它的形态可以是操纵杆或者是电子手套，其中在与人类皮肤接触的部分加入了电刺激装置、物理振动装置等。这些反馈装置可以根据远端机械手的触觉传感器回馈的信息对人类皮肤施加对应的刺激。

 

人类使用这种交互设备远程控制机械手抓取物品，可以像亲自抓取一样感受到对应的物理触感、压力等，比如说抓取较软物体时人手会感觉到高频振动，抓取较硬物体时感受到低频振动。又如，使用这种设备游玩游戏时，它本身充当了游戏控制器，而当虚拟角色穿过一些特定场景（如火焰）时，控制器会给玩家施加一些刺激来提醒玩家。

 

AirTouch：通用遥操作控制器

 

轻量级、具备触觉反馈的遥操作控制器是具身智能领域的重要研究方向。基于已有的研究成果，SSR 实验室开发了一种名为 AirTouch 的控制器。该系统受视触觉原理启发，采用摄像头通过观察气动球体膜表面的形变及手部阴影变化，来感知操作者的手势和动作强度。通过这一视觉感知机制，系统能够识别手部姿态并实现关节控制的映射，将这些信息实时同步给远端的机械手，使其精确地复制操作者的动作。

 

 

 

这种控制器成本低廉，具备很好的通用性，可以轻松将人类多个手指的操作匹配到机械手上，并帮助具身智能大模型进行迁移学习。

 

以下是 AirTouch 的基本架构示意。

 

 

AirTouch 的气动控制器设计可以为人类手掌提供非常好的力学反馈，很精准地模拟物体抓取的手感。

 

 

探索机器人触觉领域的杀手级应用

 

先进的技术研究成果都需要商业化的应用场景才能大规模落地。SSR 实验室也在这一方向上有很多思考。SSR 实验室认为，科学研究历史有四次范式跃迁，第一次是伽利略望远镜的发明解放了观测的空间尺度，第二次是电子计算机的发明解放了计算的复杂尺度，第三次是生成式人工智能的诞生解放了认知盲区，而具身智能将成为第四次范式跃迁，解放感知和物理交互的局限。

 

未来，如果机器人能够实现非常精准、灵巧的操作，很多人类操作就可以由具身智能体来代理实现。

 

在生成式 AI 与具身智能技术的帮助下，未来的科学研究也将迈向 3.0 阶段，由 1.0 阶段的互联网知识分享交流、2.0 阶段的生成式 AI 辅助研究，发展到超算智算一体化，大量使用机器人实验的境界。

 

 

 

在 3.0 阶段，科研人员可以从繁复的知识发现、知识产生和知识发表的流程中抽离出来，成为科研系统的指挥和监督者角色，将更多繁复工作交给生成式 AI 和具身智能。

 

基于这样的远景，机器人触觉领域还有很多前沿研究方向大有可为，例如对复杂透明物体的高精度检测与操作、透明液体的体积估计就是复杂化学实验中机器人必须具备的能力。

 

此外，机器人触觉研究也需要同生成式 AI 深度结合，帮助具身智能体自我探索成长，加速其进化过程。一切条件逐渐成熟后，未来行业有望出现基于生成式 AI 与具身智能的“机器科学家”，可以听取人类指令，链接各种数据库，自主完成高复杂度的化学实验。

 

在这一方向上，SSR 实验室已经有了初步探索，实现了逼真的视觉渲染、包含上千万种化学反应数据的全面数据库，以及 LLM 指导的化学实验操作能力。可以预见的是，这些成果将为未来实现机器人在复杂科学研究中的自主操作提供了广阔的可能性，推动机器人技术在科学研究中的深度应用。

｜【达摩链接】生态系列内容

“达摩链接”生态系列讲座作为连接达摩院与学术界、产业界的社区活动，通过组织内外部的沙龙、讲座等形式，旨在促进前沿技术的分享交流，推动技术成果的转化、合作与应用落地。

 为了让更多开发者、学术研发人员能够深入了解“达摩链接”生态系列讲座的分享内容，我们现将精彩要点整理成文。本文为分享人观点/研究数据，仅供参考，不代表本账号观点和研究内容。