如今依托人类视频、遥操作海量数据训练出的机器人视觉策略，已经能流畅完成物体抓取、大范围运动规划，但面对插孔、充电插接、开盖这类富接触精细作业时，极易出现卡滞、对位失败。根源在于视觉仅能捕捉全局空间轮廓，无法获取接触面受力、局部形变、滑移等微观交互信息，而这类看不见的物理细节，恰恰是精密操作成败的关键。

近日，马里兰大学和佐治亚理工学院的研究团队在 arXiv 上发表了《OmniTacTune》，提出了一种策略无关的真实世界强化学习（RL）管线，让机器人能够在不重新训练视觉策略的前提下，通过在线实践学会利用触觉反馈进行精细修正。更值得关注的是，该工作使用了GelSight Mini 视触觉传感器，其高分辨率、实时3D表面成像能力、全材质适配能力，成为实验成功的关键硬件基础。

视觉策略的“最后一厘米”困境

大规模人类视频和遥操作数据训练出的视觉策略，在宏观运动规划上表现出色，但一旦进入接触密集阶段——例如插入、工具使用——失败率急剧上升。论文数据显示，在四项真实世界任务中，纯视觉基线的成功率仅为5%~40%。

OmniTacTune：两阶段残差自适应

核心思路一句话：视觉策略当"运动先验"冻住不动，在线学一个轻量触觉残差策略，专修接触那一下的动作。

整个管线分两段：

第一阶段（热身启动）：机器人自主执行冻结的视觉策略，收集触觉数据，初始化回放缓冲区，同时优化触觉编码器和流-触觉评论家网络。为了增加数据多样性，他们还用了 ControlTac 做轨迹级触觉数据增强——机器人状态/动作/奖励不变，只换触觉图，模拟不同接触力。

第二阶段（在线触觉残差强化学习）：在保持视觉策略不变的前提下，训练一个残差策略，根据当前状态、触觉特征和视觉策略的动作块，输出微小的修正量。

最终动作 = 基策略动作 + 缩放后的残差动作。

这种接口级无关设计使得同一个残差策略可以适配不同架构的视觉策略（Flow Policy、ACT、Diffusion Policy、π₀.₅等）。

GelSight Mini：让机器人“摸”到细节

实验硬件是 xArm7 + 夹爪搭载GelSight Mini + 第三视角 RealSense D435。这里得单拎出来说一下触觉传感器为什么选它——

GelSight Mini 是MIT开创的，基于凝胶光学的紧凑型视触觉传感器，几个点对这篇论文尤其关键：

1. 高分辨率触觉成像：捕捉毫米级精度接触变形，能输出带标记点位移的触觉图（参考上方视频中的第一个案例），论文里接触检测（ε_contact=1.5 px）、安全惩罚（ε_safety=8.0 px）、抓取奖励（ε_depth=0.10）全都靠它算；
2. 实时 3D 表面数据：基于独创光度立体法+透明凝胶体系，透明/反光物体（充电头塑料壳、瓶子、盒子边缘）也能稳定采，不会被材质卡住；
3. 紧凑 + 易集成：ROS/PyTouch原生支持，夹爪即装即用，40–80 分钟反复跑实验不容易掉链子；
4. 与 RL 数据流天然契合：每帧给的是"变形场"，可以直接喂给 AnyTouch2 这类预训练触觉编码器，抽 32 维 zₜᵀ 进 critic。

换句话说，依托 GelSight Mini 输出的毫米级局部接触信号，残差网络才能精准识别充电器插脚、盒薄边缘这类微小接触偏差，大幅提升修正效果。

实验结果：40-80分钟，成功率翻倍

在四项挑战性任务（插销入孔、充电器插入、开瓶盖、开盒子）上，OmniTacTune 将弱视觉基策略的成功率从5-40%提升至85-100%，且训练时间仅需40-80分钟。

1. 插销入孔：基线 40% → OmniTacTune 100%（训练 40min）
2. 充电器精密插接：基线 10% → OmniTacTune 100%（训练 50min）
3. 瓶盖动态开启：基线 5% → OmniTacTune 90%（训练 50min）
4. 薄边缘开箱：基线 5% → OmniTacTune 85%（训练 80min）

相比之下，未使用触觉的基线方法平均成功率仅为37.5%。
更重要的是，该方法对不同的触觉表示（AnyTouch2、Sparsh、T3 以及低维标记点）同样有效，证明了其通用性。

总结

OmniTacTune 展示了一条务实的技术路径：不必等待海量触觉数据集，而是通过少量在线交互，让已有的视觉策略获得触觉感知能力。而像 GelSight Mini 这样成熟、可靠的视触觉传感器，正是将这一理念变为现实的物理基石。

未来，随着GelSight视触觉技术的进一步普及和RL算法效率提升，我们有望看到更多机器人真正“凭手感”完成复杂操作。

参考文献

论文主页:

OmniTacTune: Policy-Agnostic Real-World RL for Tactile Residual Adaptation of Visual Policies

论文链接：arxiv.org/abs/2607.03723

欢迎关注 “欣佰特科技” ，持续为大家带来 “具身智能领域”前沿技术及应用！详情可邮件咨询sales@cnbestec.com