你敢相信嘛,人形机器人的能力再次得到进化 —— 可以打乒乓球了。

此前,我们已经见证人形机器人所展现出令人眼前一亮的运动控制能力 ,例如从富有节奏感的跳舞,到对抗性的拳击格斗,再到团队协作类的5V5足球赛。

然而人形机器人学会打乒乓球,意味着它的能力边界再次得到扩展。因为在乒乓球运动中,球速通常超过5m/s,这要求机器人需要在亚秒级的反应时间内完成球的位置感知和轨迹预测以及击球动作规划。

近日,一项名为“HITTER”的研究项目取得重要突破 —— 该项目提出人形机器人乒乓球的分层框架理论,将基于模型的规划器与基于强化学习的全身控制器相结合,并以宇树机器G1为试验平台完成验证。

  • 基于模型的规划器:用于球的轨迹预测与球拍击打目标规划,决定击球的位置、速度和时机。
  • 基于强化学习的全身控制:负责生成协调的手臂和腿部动作,以模仿人类击球,并在连续对打过程中保持稳定性和灵活性。

整个系统的感知与控制闭环由三部分组成:

1)感知模块:使用 9 台 OptiTrack 摄像机以 360Hz 捕捉球的位置,精度达到毫米级;

2)规划器:基于感知到的球位置,预测球的轨迹,计算击球的时间、位置和球拍速度;

3)控制器:接收规划器的输出,通过强化学习策略生成全身 29 个关节的目标位置,以50Hz 更新,再通过 PD 控制器转化为力矩执行。

由此,我们可以看到,人形机器人能够预测捕捉到乒乓球并实现精准击打,目前还是需要依赖外部动作捕捉感知摄像头系统(用了9个OptiTrack摄像头(运行频率为360 Hz)来追踪球的位置,达到毫米级精度。) —— 捕捉球体位置与机器人底座姿态的信息。单独依靠机器人本体的摄像头和激光雷达传感器还无法实现。

你可以认为,现在人形机器人打乒乓球还是需要带外挂的感知系统。

在现实世界中,成功实现了机器人与人类对手的最多53个连续回合对打,以及两个人形机器人之间,在没有遥控操作情况下,实现完全自主的持续对打。

人形机器人要实现成功击球,这依赖于全身的敏捷运动配合, 既要通过快速摆臂、腰部转动以精准控制击球轨迹,又需借助横向移动完成快速垫步来调整站位,进而及时恢复平衡。

最终在确保击球准确性的同时,为下一次动作做好充分准确。

评估结果显示,在26个不同方向的来球中,机器人成功回球24个,1个来球虽被击中,但未成功完成回球,另外一个则完全未击中,最终,击球成功率高达96.2%,回球成功率高达92.3%。

对于人形机器人乒乓球技术的后续发展,研究人员明确了三大核心方向——完善多智能体训练机制、研发发球功能以及提升高水平对手对抗的学习能力。其最终目标是打造出具备“锦标赛级水平”的人形机器人乒乓球选手。

最后,介绍一下完成该项目的牛人 —— HITTER的研究论文小组共有8人,值得我们骄傲的是,其中4位来自中国。并且,论文的一作和二作都是来自中国。

  • 一作是来自清华大学姚班2022级本科学生 —— 苏智,现在是加州大学伯克利分校混合机器人实验室的访问学生。他在清华大学的导师是吴翼教授。
  • 二作是目前正在美国加州大学伯克利分校攻读机械工程博士学位的Bike Zhang,其本科就读于华中科技大学电气工程及其自动化专业,研究兴趣包括预测控制和强化学习及其在足式机器人中的应用。
Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐