从人类演示中学习(Learning from Demonstration, LfD),也就是我们常说的示教学习,是目前机器人领域解决快速编程问题的主流研究方向。简单来说,就是让机器人观察人类完成一次或者几次操作演示,自主学习作业规律,无需逐点编写复杂的控制代码。

目前主流的示教方案主要分为三类:拖拽示教、遥操作示教、人体动作捕捉示教。但这几种方案各自都存在难以回避的短板。拖拽示教需要直接对机械臂本体施加外力,对机器人的柔顺控制性能要求极高;遥操作方案整套硬件成本高昂,部署流程繁琐;而基于光学动捕、传感数据手套的人体示教方案,最大的痛点来自人体与机器人本体形态差异带来的动作映射鸿沟。

人类拥有五指灵巧手,而绝大多数协作机器人末端配置的都是平行夹爪。二者的运动空间、夹持特性完全不同。即便精准捕捉到人手每一根手指的运动轨迹,也无法直接迁移给一台搭载平行夹爪的机械臂执行装配作业。针对这一核心难题。

南洋理工大学的研究团队提出了一套全新的工具视角示教学习(Tool‑perspective learning)方案。整套实验基于Kinova Gen3 七自由度冗余协作机械臂完成验证,团队自主设计了一款低成本可手持的力传感夹爪作为示教采集终端,仅仅依靠 4 组合计 100 秒的人工操作数据,就让 Kinova Gen3 自主复现高精度 “盒中盒” 精密装配任务。今天我们就完整拆解这套新颖的机器人示教方案,聊聊 Kinova Gen3 作为科研平台在柔顺装配、示教学习领域独特的硬件优势与工程价值。

图片

一、传统示教学习方案

第一种是拖拽示教(Kinesthetic Teaching),也是目前协作机器人最基础的示教方式。操作人员直接用手拖动机械臂末端走完完整作业流程,机器人记录整条关节轨迹并复现。这种方式上手简单,但缺点同样突出。拖拽示教全程都需要和机械臂本体进行物理交互,对机器人的力控安全机制要求严苛;同时拖拽采集得到的仅仅是位置轨迹,很难精准记录装配过程中工件之间的接触力信息,而力信号恰恰是精密装配任务里不可或缺的控制变量。单纯的位置轨迹复现,一旦工件出现微小的位置偏差,很容易发生刚性碰撞,造成工件或者设备损坏。

第二种是遥操作示教。操作人员通过主手设备远程控制从端机械臂完成作业,整套系统可以同步采集位置与力反馈信号。但是一套高性能力反馈主手设备价格昂贵,整套系统搭建复杂,并不适合轻量化的快速原型验证场景,对于大多数科研实验室而言成本门槛较高。

第三种是人体动作捕捉示教。通过光学动捕相机、惯性动捕模块、传感数据手套记录人手的运动姿态与抓取力度。这套方案可以无接触采集人类操作数据,但最大的硬伤就是异构本体映射问题。人手的运动自由度远高于一台搭载平行夹爪的协作机器人。我们记录下来的人手动作,很多细节是机器人硬件根本无法复刻的,动作映射误差会直接降低后续装配任务的成功率。

图片

论文跳出 “捕捉人手动作” 的固有思路,提出一个非常巧妙的核心思想:在整个装配任务中,人与机器人唯一共用的执行载体就是作业工具本身。我们不需要去记录人的手如何运动,只需要记录工具本身完整的运动、夹持与受力全过程。操作人员手持一台和机器人末端功能完全一致的传感夹持工具完成演示,直接采集工具层面完整的任务数据,后续只需要把这条工具轨迹迁移到机械臂末端执行即可。这就是本文提出的工具视角学习范式,从根源上消除人手和机器人夹爪之间的本体异构差异。

二、低成本传感示教工具

为了实现工具视角的数据采集,研究团队自主设计并加工了一款低成本手持传感夹爪。整套装置全部采用市面现成的标准化零部件组装而成,极大降低了硬件开发成本。

这套传感工具的核心组成部分包含平行夹爪、力 / 力矩传感器 F/T sensor、驱动杠杆、光学标记模组以及外壳结构件。一个非常有意思的细节是,夹爪的驱动杠杆直接选用了自行车刹车手柄作为原型改造,利用杠杆结构实现手动控制夹爪开合动作。工具顶端搭载光学反光标记,配合外部运动捕捉系统,实时输出工具在空间中的 6 自由度位姿信息;内置的力力矩传感器可以全程采集装配接触过程中三轴力与三轴力矩数据。

整套手持示教工具可以同步采集三类关键任务信息:工具的空间位置姿态、夹爪开合距离、作业全程的接触力扭矩信号。对比昂贵的传感数据手套,这套装置的开发成本极低,并且采集的数据维度完全面向机器人末端执行器,后续数据处理、轨迹迁移的难度大幅降低。

图片

在数据采集实验流程中,操作人员手持这款传感夹爪,完成完整的盒中盒装配动作。实验一共录制 4 组独立的人工演示,单次演示时长约 25 秒,全部示教数据总时长仅 100 秒。为了保证多次演示动作时序保持相对一致,实验过程中使用节拍器规范操作人员的动作节奏,减少人为操作带来的时序随机性。采集完成的原始数据包含时间序列下的工具位姿、夹爪开合量、力扭矩信号,这些原始时序数据将作为机器人学习的样本集。

三、基于 GMM‑GMR 的运动建模与轨迹生成

拿到多组人工演示样本之后,团队采用机器人示教学习领域经典的高斯混合模型 GMM + 高斯混合回归 GMR算法对演示数据进行统计建模。

简单来说,高斯混合模型会对多组不同的演示轨迹进行聚类分析,挖掘整个装配任务中位置、姿态、夹持动作之间内在的关联规律,本研究中将高斯混合聚类数量设置为 K=16。完成建模之后,通过高斯混合回归,我们就可以从多组存在细微差异的人工演示样本中,提取出一条代表任务本质特征的平滑参考轨迹。这条回归生成的参考轨迹包含整条作业流程中每一个时间节点下:工具期望位姿、夹爪目标开合度。

和简单的轨迹平均算法不同,GMM‑GMR 保留了任务的统计特性。后续机器人执行作业时,不需要严格复刻人类每一个细微动作,只需要遵循这套从演示中提炼出来的任务规则。这也让机器人具备一定程度的抗干扰能力,能够应对工件初始位置的小幅偏移。

图片

仅仅生成一条笛卡尔空间的末端参考轨迹还不足以完成实验。由于本次实验选用的 Kinova Gen3 是一台 7 自由度冗余机械臂,机械臂存在无穷多组关节角度可以实现同一个末端位姿。研究团队增加了一个非常有价值的优化步骤:搜索机械臂基座的最优摆放位置。优化目标函数是最大化整条装配轨迹全程的机械臂平均可操作度,保证机械臂在完成全部装配动作的过程中,始终远离运动奇异点,关节运动灵活柔顺,不会出现关节限位或者运动卡死的情况。在确定最优基座布局之后,再完成机械臂运动学参数重校准,降低机械臂本体的运动学误差,保证末端定位精度。

整套复现实验的硬件载体选用Kinova Gen3 七自由度冗余协作机械臂。在大量机器人示教与柔顺装配科研项目中,Kinova Gen3 一直是科研人员首选的实验平台之一,它的硬件与软件特性完美匹配本研究的全部控制需求,我们可以从四个维度理解这套平台的价值。

图片

第一,7 自由度冗余设计带来更高的运动灵活性。普通 6 轴工业机械臂末端位姿一旦确定,所有关节角度就是唯一解。而 7 轴冗余机械臂拥有额外的优化自由度。正如本实验所做的优化工作:在固定末端装配轨迹不变的前提下,我们可以调整机械臂整体的姿态,优化整条轨迹的可操作度,避开奇异位形、关节限位以及自身碰撞。这对于一条长流程连续装配任务而言至关重要,也是 6 自由度机械臂无法实现的优化能力。

第二,开放底层力矩控制与阻抗控制接口,是柔顺装配的基础。精密装配任务绝对不能依靠纯位置闭环控制。在插装、对接的接触阶段,如果机器人刚性运行预设位置轨迹,一旦工件存在微小偏差,巨大的接触冲击力很容易损坏零件和机器人本体。Kinova Gen3 对外提供底层力矩控制接口,支持实现笛卡尔空间阻抗控制。在本套方案中,参考轨迹作为阻抗控制的目标输入,当装配过程中工件产生接触力时,机器人末端可以顺应外力产生微小位移,实现柔性贴合完成插装作业,完美适配精密装配的柔顺控制需求。

第三,完善且开源的生态适配科研开发。Kinova 官方提供完整的 ROS 驱动、MATLAB、C++ SDK 开发包,科研人员可以快速对接 GMM 运动模型、轨迹规划算法、力控算法,不需要花费大量时间开发底层驱动代码。研究团队可以把研发重心放在示教学习算法本身,极大缩短项目验证周期,非常适合高校与实验室快速完成原型验证。

第四,内置原生安全机制保障人机交互实验安全。协作机器人内置力矩安全监测,在调试、示教、复现实验全程具备安全保护,在人机共存的实验室环境下开展操作演示与装配测试,安全风险可控。

图片

完成轨迹规划与控制参数配置之后,Kinova Gen3 搭载平行夹爪,基于阻抗控制复现完整的盒中盒装配流程。研究团队一共开展 30 组重复性验证实验,人为随机修改工件的初始摆放位置,用来测试整套示教方案的鲁棒性,并且同步记录机器人复现作业全过程中的力扭矩曲线,和人类原始演示的力信号进行对比分析。

从最终的实验结果来看,仅仅依靠 100 秒简短的人工示教数据,Kinova Gen3 就可以稳定完成盒中盒精密装配任务。但实验同样得到一个值得深思的结论:即便装配动作最终成功完成,机器人在装配过程中采集得到的力扭矩曲线,和人类操作者演示时的力信号并不完全一致,也就是论文中提到的触觉不匹配现象。

研究团队观察到一个关键特征:装配到位瞬间 Z 轴方向的旋转扭矩存在明显特征峰值。这个力信号特征可以作为装配成功与否的判断依据。当前这套方案仅利用位置轨迹作为控制目标,没有实现基于实时力信号的在线轨迹自适应修正,当工件偏移量过大时,装配任务依然存在失败的可能性,这也是团队后续重点研究方向。

随着协作机器人底层力控接口不断开放,示教学习算法持续迭代,未来机器人编程的方式将会彻底改变。工程师不再需要逐点编写繁琐的运动代码,只需要像本文演示的一样,亲自示范一次操作流程,机器人就能够自主掌握作业技能。而 Kinova Gen3 这类高性能科研级协作机械臂,正是连接前沿机器人算法和工业柔性应用之间重要的验证载体,持续推动示教学习、柔顺装配技术从实验室走向真实的智能制造产线。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐