人手依靠触觉与肌肉力矩协同调节握力,既能轻拿易碎物品,也能在掌心灵活转动物件。长期以来,仿真训练的机器人手部控制策略很难直接用于实体设备,高密度触觉感知计算量大、力矩传感硬件造价高,精细力度操控一直难以规模化落地。

图片

字节跳动 Seed 团队打造一套触觉 + 力矩融合强化学习虚实迁移完整框架,全部训练流程在仿真环境内完成,无需实体设备调试,可直接部署 ROBOTERA 星动纪元 xHand 12 自由度五指灵巧手,稳定实现可控力度抓取、手内物体连续旋转两类核心灵巧操作。整套方案配有完整量化实验数据,兼顾算法创新与工程落地能力,适配科研、工业、人形机器人等多元应用场景。

一、灵巧手虚实迁移全新技术体系搭建思路

在触觉感知层面,精细手内操作需要多点持续接触反馈,高分辨率触觉采集会带来巨大计算开销,常规轻量化模拟手段又会造成接触位置、接触力数据和实体设备存在偏差。团队针对性设计高速触觉模拟算法,匹配高密度触觉传感硬件,在保证接触信息完整度的前提下,大幅降低计算负载,适配大规模强化学习迭代需求。

在力矩感知层面,市面主流五指灵巧手仅能输出电机电流信号,未搭载关节力矩传感器,仿真环境可直接读取标准力矩数据,两类信号无法直接互通。团队设计标准化离线标定流程,建立电流与力矩的统一映射关系,无需额外加装传感硬件,就能让仿真训练的力控策略直接适配实体设备信号输入。

图片

在驱动动力学层面,实体齿轮传动结构存在间隙、电机输出力矩会随转速变化,传动摩擦、设备损耗也会持续改变电机运行状态。方案在仿真环境完整复刻实体电机全部运行特征,通过全域参数随机化训练控制策略,让算法适应各类电机运行状态,实现仿真到实体设备的无缝迁移。

整套算法基于非对称 Actor-Critic PPO 模型搭建,依托 IsaacLab 仿真平台完成全部训练工作,三项核心技术相互配合,形成可直接复用的 Sim-to-Real 开发流程,每一项技术均通过仿真数据与实体设备实测对照验证效果。

二、三大核心技术创新,完美适配 ROBOTERA xHand 硬件特性

1. 并行运动学高速高密度触觉仿真

ROBOTERA xHand 单根指尖搭载 120 个触觉传感单元,五指总计 600 路高密度感知通道,指尖采用定制橡胶柔性材质。团队放弃高耗时有限元求解方案,借助并行正向运动学批量计算每一处虚拟触觉单元与物体表面距离,大幅提升仿真运行效率。

系统通过空间向量点积判断指尖挤压形变状态,采用 Mooney-Rivlin 本构模型还原橡胶材料应力应变规律,日常操作低载荷区间简化线性弹簧模型,平衡仿真精度与训练速度。600 维原始触觉数据压缩为单指总接触力、加权压力中心两组低维特征,简化模型学习压力。实体设备采集的接触位置、力值时序曲线与仿真输出高度重合,仿真生成的接触场景可以完整覆盖实体设备全部交互工况。

2. 离线电流 - 力矩标定,轻量化实现力矩感知

ROBOTERA xHand 原生硬件仅输出电机电流,无内置关节力矩传感器,一次性离线标定流程打通仿真与实体设备信号通道。

实验同步采集实体电机电流、仿真标准关节力矩与对应指尖接触力,验证两组信号均和接触力保持稳定线性关联。将电流、力矩统一归一至 0~1 无量纲区间,实体设备运行时,归一化电机电流直接替代训练阶段的关节力矩观测信息,感知逻辑完全统一。整套标定流程操作简便,信号匹配精度满足精细力控任务标准,无需改造硬件,大幅降低灵巧手开发平台搭建成本。

3. 全域随机化驱动动力学建模

结合 xHand 齿轮传动间隙、直流电机扭矩 - 转速联动变化、传动效率随使用损耗波动等实体硬件特征,仿真端搭建完整非线性驱动模型。每一轮训练都会随机调整回程间隙阈值、堵转扭矩、空载最大转速、动静摩擦系数、传动效率等全部电机参数。

模型设置两层标准化运行约束:回程间隙死区约束,微小关节误差区间输出扭矩归零;转速关联扭矩饱和函数,转速越高,电机最大输出力矩线性下降。大范围全域参数随机化训练,让控制策略适配各类电机运行工况,训练完成后直接下发至灵巧手,面对负载变化、设备长期使用磨损,依旧可以精准跟踪目标握力,实现零样本跨场景迁移。

图片

三、两大标杆实操任务,量化验证方案稳定运行效果

团队设计可控力自适应抓取、手内物体单轴旋转两大典型灵巧操作任务,全部训练在仿真环境内完成,ROBOTERA xHand 实体设备无需任何调试即可稳定运行,多组对照实验清晰展现各模块协同运行的价值。

任务一:分级可控力自适应抓取

创新倒置接物训练范式,灵巧手手掌朝上固定,物体从上方自由下落,依靠重力自然送入掌心,机器人仅专注五指协同力度控制,提升训练效率,同时生成贴合真实物理规律、泛化性更强的包裹式抓取姿态。

训练过程随机调整物体质量、尺寸、表面摩擦系数、下落姿态,强化算法对各类陌生物体的适配能力。观测空间融合 12 维关节角度、归一化电流力矩、五指触觉特征、1 维连续力控指令,支持 0~1 区间无级调节握力。奖励函数结合关节力矩奖励、指尖接触力奖励、四指协同惩罚、动作平滑约束,力矩与接触力奖励协同运行时,灵巧手可稳定输出 44.50~93.92 区间接触力,握力指令和实际输出保持高度线性对应。

图片

实体设备实操中,xHand 可按照 10%、50%、100% 三档力度完成抓取,低力度轻柔夹持玻璃瓶、鸡蛋等易碎品,不会产生挤压损伤,高力度稳定抓取金属重物;针对训练过程从未出现的游戏手柄、异形碗、长条工具等物体,均可形成完整包裹式稳定抓取。

图片

任务二:连续手内物体单轴旋转

选用标准立方体作为操作对象,限定单旋转轴简化学习难度,搭配动态偏移目标课程训练:每成功旋转 90°,系统自动更新下一阶段旋转目标,引导算法学习持续滑移、滚动接触,实现连贯不间断的物体操控。姿态表征选用连续 6D 旋转表达方式,保障训练过程梯度平稳,加速网络收敛。

十组重复实体设备对照测试数据显示,完整搭载触觉特征与 6D 姿态观测的方案,平均连续成功旋转 25.1 次,单次操作平均耗时 3.36 秒;整套触觉感知模块完整参与运算时,物体稳定操作时长显著提升。仿真与实体设备指尖运动轨迹、接触力变化高度同步,能够长时间持续旋转方块且不掉落。

图片

四、方案落地多元应用场景

这套软硬一体化零样本力控方案,依托 ROBOTERA xHand 标准化量产硬件,可直接落地三类主流应用场景。

  • 科研教学平台

整套触觉仿真、电流力矩标定、驱动随机化、多目标奖励设计流程完整可复现,搭配标准化商用灵巧手,可作为触觉感知、虚实迁移强化学习方向的标准化实验载体。高校与科研团队无需高额硬件改造预算,能够快速复现全套操作实验,并在此基础上拓展柔性物料操控、双臂协同操作等延伸课题。

  • 工业精密分拣与装配

3C 零部件装配、生鲜小件分拣等场景对分级握力存在持续需求,易碎工件需要轻柔夹持,金属配件要求稳定握持。无级可控力控能力适配产线多元化物料,全仿真训练模式大幅减少现场调试、人工示教工作量,降低产线落地的时间与人力投入。

  • 人形与移动操作机器人

人形机器人、移动机械臂对灵巧手低成本、快速部署有明确需求。本方案无需加装力矩传感器,硬件搭建成本可控;零样本迁移特性适配整机统一仿真开发流程,可搭配全身运动控制策略,实现人形机器人自主取放、翻面、组装等日常精细操作。

图片

这套完整的虚实迁移体系,从算法层面打通触觉感知、电机力矩估计、驱动随机化全链路开发流程,硬件层面依托量产商用灵巧手完成充分量化实测,为力控型仿人灵巧手搭建标准化落地路径。

整套开发体系兼顾算法创新与工程落地,为科研机构、机器人企业提供可直接复用的开发参考,大幅降低精细操控类灵巧手的开发门槛,助力具备仿人手部操作能力的通用机器人广泛应用于实验室、智能工厂与家用服务场景。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐