图片

合作概述:联合升级Physical AI机器人学习硬件体系

近日,Physical AI研究与数据采集平台头部厂商Trossen Robotics, 与友思特合作伙伴、专业AI立体相机制造商Stereolabs达成深度合作。双方将Stereolabs旗下ZED X MiniZED X Nano两款高精度立体视觉相机, 正式集成至Trossen全新Physical AI机器人学习硬件套件中, 重点赋能旗下Workbench固定式双臂平台、Rivet移动式双臂平台, 全方位升级机器人视觉数据采集能力, 为Physical AI模型训练提供高品质数据支撑。

图片

Trossen Rivet 上搭载 2 台 ZED X Nano 与 1 台 ZED X Mini

行业痛点:传统采集方案桎梏Physical AI模型迭代

视觉数据是Physical AI模型训练的核心核心数据源,模型精度、实操性能完全取决于示范数据的质量。但目前行业主流的数据采集方式仍存在明显短板:多数研发团队采用零散采购的机械臂、消费级USB相机自行组装采集设备,同时依靠自研驱动代码完成设备联动。

这种自定义组装模式缺乏标准化、一体化设计,极易产生各类数据问题,包括画面分辨率偏低、设备标定不统一、高速运动场景下的画面模糊,以及多视角、多数据流之间的时间漂移等缺陷。劣质的原始数据,直接限制了Physical AI模仿学习、强化学习的效果,成为行业技术迭代的核心瓶颈。

硬件平台优势:标准化一体化机器人开发基座

针对行业痛点,Trossen Workbench、Rivet两大平台打造了标准化、一体化的Physical AI开发与数据采集基座,从硬件底层规避传统方案的各类问题。两款平台均搭载WidowX Pro六自由度双臂,工作范围覆盖700毫米至1000毫米,有效载荷4至6千克,重复精度可达1毫米,满足各类精密机器人操作场景需求。

算力层面,平台标配板载NVIDIA Jetson AGX Orin 64GB算力模组,支持本地网络、互联网远程遥操作,适配远程数据采集与调试场景。视觉层面,设备出厂即搭载Stereolabs定制化三相机视觉系统,完成全套精准标定,无需研发团队二次调试集成,大幅降低研发门槛

定制视觉架构:双相机组合适配全场景精细操控

双方联合打造的专属视觉架构,深度适配当下最先进的机器人操纵策略训练逻辑,通过双机型相机分工协作,实现“全局+近景”全覆盖的数据采集视角,精准匹配精细化模仿学习需求。

其中,机身中央搭载的ZED X Mini相机,负责捕捉完整工作空间的全局场景画面,输出高精度立体深度信息,为机器人整体作业环境感知、全局策略训练提供数据支撑;双臂手腕位置分别搭载一台ZED X Nano相机, 聚焦夹爪与作业物体的近距离交互场景, 精准捕捉精细抓取、操作过程的细节画面, 填补精密操控场景的视觉数据空白。

图片

Stereolabs ZED X Mini

核心技术亮点:工业级高保真数据采集能力

专为机器人末端操控场景设计的ZED X Nano相机,是本次方案升级的核心亮点,从成像、传输、稳定性三大维度,实现数据采集品质的全面升级。成像方面,设备搭载双230万像素(1920×1200)全局快门传感器,最高支持60帧/秒高速采集,彻底杜绝传统卷帘快门USB相机的运动模糊问题;神经深度引擎可精准解析3厘米超近距离几何信息,完美适配机器人抓取核心作业场景。

传输与稳定性方面,方案采用GMSL2传输架构,搭配带锁紧结构抗电磁干扰专用线缆,实现三台相机与Jetson算力单元的确定性同步。依托零拷贝管线,设备可同步完成画面录制、编码、模型推理,全程无静默丢帧问题。同时,板载防振IMU模组,可保障机械臂高速运动时,腕部近距离视角依然清晰稳定、数据有效可用。

依托全套硬件与技术架构,Workbench、Rivet平台采集的每一组遥操作示教数据,均为干净、同步、多视角的RGB+深度标准化训练样本,可直接应用于模仿学习、强化学习、仿真到现实(sim-to-real)全工作流,且原生兼容ROS 2、NVIDIA Isaac Sim/Isaac Lab,适配主流机器人研发生态。

图片

Stereolabs ZED X Nano

合作价值:赋能Physical AI从实验室走向工业落地

Trossen Robotics首席执行官Matt Trossen表示,当前Physical AI行业正全面转向GMSL2传输方案,传统USB传输无法满足机器人末端执行器与算力单元的长距离、高稳定传输需求。Stereolabs ZED X Nano相机带来的信号稳定性高清成像质量高效吞吐能力,有效解决了行业落地痛点,助力Physical AI技术从实验室原型,走向工业级复杂场景部署。同时,标准化集成、出厂标定的一体化方案,让研发团队无需耗费精力在设备集成与标定调试,可专注于数据采集与模型策略训练,大幅提升研发效率。

友思特合作伙伴Stereolabs总裁Cecile Schmollgruber则指出,Trossen实现了行业稀缺的技术整合能力,将立体视觉核心设备深度融入一体化、可直接落地的数据采集系统。搭载ZED X系列相机的Trossen硬件平台,能够将每一次机器人示教转化为高质量、可直接复用的训练数据,为Physical AI技术突破与规模化发展提供核心动力。

关于 Trossen Robotics

Trossen Robotics致力于开发可访问、模块化的硬件和软件平台,用于 Physical AI 研究、数据采集与部署。其机械臂、移动操作机器人、遥操作系统和开发者工具可帮助团队采集高质量数据、训练具身 AI 模型,并将机器人应用从实验室推向真实世界。

Stereolabs X 友思特

共筑3D视觉产业新未来

作为 Stereolabs 在国内的官方授权代理商,友思特提供 ZED 系列深度空间感知相机,涵盖 GMSL 单目/双目、USB3 双目等丰富型态。ZED 相机 SDK 集成先进的 AI 深度视觉功能,围绕吞吐量、延迟和鲁棒性三大关键指标深度优化,专为机器人场景打造。产品具备高度开放性与可扩展性,提供经过行业验证的软硬件生态体系,全球用户已超 10 万。

ZED 系列广泛服务于具身智能越野自动驾驶数字孪生物流自动化等核心场景。在科大讯飞、穹彻智能、小雨智造、聆动通用、中科光电、海微科技、大晓机器人等知名客户中成功落地。欢迎联系友思特,了解关于 ZED 相机的更多信息。

Stereolabs ZED系列相机

ZED X Nano

图片

ZED X Nano 高性能微型相机凭借轻量化与极致紧凑设计,可高度适配机器人腕部或灵巧手集成。采用全局快门技术,在高动态运动下亦能提供超低延迟、无畸变的亚毫米级高精度深度感知。配合GMSL2工业级接口,确保了复杂环境下数据传输的稳定性与可靠性。作为训练 VLA/VTLA 模型的专业级多模态数据采集终端,ZED X Nano 为机器人的精细操作与实时空间交互提供了坚实的视觉基石。欢迎联系友思特,了解关于ZED X Nano的更多信息。

图片

ZED X Mini

ZED X Mini紧凑型工业双目深度相机机身小巧、测量精度优异,集成超深度感知、视觉惯性运动追踪能力,集成部署便捷,可完成高级三维建图与环境感知任务Stereolabs。相机搭载 50mm 立体基线、全局快门传感器,支持双路 1920×1200 分辨率、60 帧每秒输出,内置高性能 IMU,采用 GMSL2 接口,支持硬件同步,适配严苛工业场景。凭借优秀的近距离感知能力,它非常适用于自动化、拣货抓取等短距离作业,广泛应用于农业、物流、建筑等领域,是移动机器人、机械臂、产线自动化的理想视觉方案。目前已在 中科光电、聆动通用机器人、赛航具身智能、达奇月泉仿生科技 等知名企业落地。欢迎联系友思特,了解关于 ZED X Mini 的更多信息。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐