摘要

UC Berkeley 发布 Do as I Do 模仿学习框架，摆脱高价遥操作数据依赖，仅依靠普通网络短视频完成 4D 手物重建、动作重定向；在 UR3e 双臂协作机器人 + 多指灵巧手上完成 20 类日常精细任务真机验证，野外视频任务成功率由 25% 提升至 71%，提供低成本具身智能完整软硬件落地链路。

一、传统视频模仿机器人两大核心痛点

1.1 2D 视觉信息缺陷

单目 RGB 视频缺失深度、触觉信息，难以还原人手与物体三维交互。

1.2 人机结构差异

人手 21 自由度，与灵巧手关节构型不匹配，人类抓取动作无法直接复用。

伯克利采用模块化端到端方案，打通「野生视频→4D 手物轨迹→动力学重定向→UR 真机部署」全流程。

二、两步核心算法架构

2.1 4D 手物重建模块：2D 视频还原三维动态交互

1. 手部追踪：基于 HaWoR 模型稳定提取人手三维骨架；
2. 时序物体跟踪（核心创新）：改造 SAM 3D 时序逻辑，固定物体外形逐帧预测 6D 位姿，搭配引导扩散模型，遮挡、模糊的网络视频也能输出连续轨迹；
3. 尺度对齐：MoGe 尺度恢复 + 加权 SE (3) 聚类，校正物体真实姿态。

效果：在 DexYCB、HOI4D 数据集刷新物体跟踪 SOTA，遮挡场景轨迹稳定性显著优于 FoundationPose 基线。

2.2 动力学动作重定向：消除人机动作形态鸿沟

单纯几何映射会出现机械手穿模、抓取打滑，框架基于 MPPI 采样优化，在 MuJoCo Warp 仿真求解机器人控制指令，新增三项优化：

1. 抓取预热区间，规避初始偏差抓空；
2. 仿真叠加随机外力扰动，提升抓取抗干扰能力；
3. 区分悬空 / 落地状态，约束抓放动作切换。

消融实验：野外视频重定向成功率 25%→71%；干净数据集可达 81%。

三、UR3e 双臂真机落地硬件平台

3.1 实验硬件配置

双臂 UR3e 协作机器人 + 22 自由度 Sharpa Wave 多指灵巧手

3.2 UR 机器人适配具身实验核心优势

• 完善科研生态：原生兼容 MuJoCo、ROS，快速搭建数字孪生预演轨迹、规避碰撞；
• 高精度同步控制：50Hz 双臂同步控制，重复定位精度高，精准复现复杂协同动作；
• 开放底层扭矩接口：支持自定义柔顺控制，适配双手协同、高精度对位研究。

3.3 真机落地流程

数字孪生仿真校验 → 低速真机调试，稳定复现搅拌、倾倒、擦拭、书写、锤击等 20 类精细操作。

四、总结与行业价值

Do as I Do 重构机器人训练数据获取方式，无需专业示教设备，海量免费互联网视频即可规模化生成可用机械臂操作轨迹。
UR 协作机器人凭借成熟生态、高精度控制与开放底层接口，成为算法从仿真走向实体硬件的标准化实验底座，大幅降低通用灵巧机器人研发门槛。

项目链接

项目官网：Do as I Do: Dexterous Manipulation Data from Everyday Human Videos
论文 arXiv：[2606.19333] Do as I Do: Dexterous Manipulation Data from Everyday Human Videos

欢迎关注 “欣佰特科技” ，持续为大家带来 “具身智能领域”前沿技术及应用！详情可邮件咨询sales@cnbestec.com