看似简单的 GPU 插入 PCIe 插槽，却是机器人领域公认难题。传统流水线易受环境偏移失效，端到端 VLA 模型缺少接触反馈，亚毫米级装配几乎无法落地。

哈佛、斯坦福、MIT 联合团队最新发布 CoStream 框架，依靠 GelSight 视触觉传感器实现高成功率精密装配。

一、行业痛点：两类主流方案均存在明显短板

目前机器人精密操作主要分为两大路线：

1、传统模块化流水线

感知、规划、控制耦合度高，更换任务往往需要重新调整流程；一旦环境、位置或工件姿态发生微小变化，系统容易直接失效。

2、端到端视觉语言动作策略

虽然具备较强泛化展示能力，但在窄间隙、强接触、高滑移风险场景中，仍缺少独立、高频、实时的触觉反馈通道。尤其是 GPU、钻头插入等亚毫米级装配任务，纯视觉方案很难稳定完成。

核心问题不在于 “模型不够大”，而在于接触控制需要独立的高频反馈通道。

二、CoStream 核心创新：三类行为并行组合

CoStream 跳出了 “单一流水线” 和 “单一策略” 的思路，采用三类独立行为并行运行，并在每个控制周期融合为统一末端位姿指令。

1、语义行为——基于 LLM 和 VLM 理解任务目标，建立任务坐标系，减少视觉感知漂移。

2、预测行为——从生成视频中提取运动先验信息，辅助处理遮挡、路径模糊和接触歧义。

3、反应行为——通过 GelSight 视触觉传感器实时捕捉接触形变与滑移，并结合 Franka 机械臂力矩信息进行高频柔顺控制。

其中，反应行为是整套系统实现亚毫米级精密装配的关键。

三、实验结果：精密装配能力明显提升

在论文实验中，CoStream 在 GPU、RAM、CPU、钻头插入等精密装配任务中表现突出。相比 VoxPoser 和 π₀.₅等基线方法，CoStream 在接触密集型任务中的完成率更高。

即使在人为扰动场景中，系统也能通过触觉反馈识别工件滑移，并快速校正末端姿态，降低卡死和装配失败风险。

四、欣佰特科研硬件方案

论文实验中涉及的核心硬件，欣佰特可提供配套供应与集成支持：

• Franka七轴力控协作机械臂

具备全关节力矩传感、重复定位精度高、支持实时阻抗控制，是科研精密操作平台的主流选择。

• GelSight Mini 视触觉传感器

能够捕捉接触表面形变与细微滑移，为精密装配、抓取稳定、接触控制提供高频触觉反馈。

• 配套设备

可搭配ZED双目3D相机、Robotiq电动夹爪、机器人工作台等，形成完整科研实验平台。

结尾

CoStream 展示了一个重要方向：高精度机器人装配不能只依赖视觉和大模型规划，独立的视触觉反馈通道同样关键。

引用论文

项目官网：https://costream-simple.github.io/

论文arXiv：https://arxiv.org/abs/2606.26423

欢迎关注 “欣佰特科技” ，持续为大家带来 “具身智能领域”前沿技术及应用！详情可邮件咨询sales@cnbestec.com