输入为肩部六关节的归一化rot6d,可选输入为手部图片,输出为手部21*2个关节的轴角(初始输出也为归一化rot6d,经过反向变换后,经过矩阵到轴角)。

下面是该论文中几个关节定义的说明:首先他采用了一个非常不常见的模型Adam来做姿态重建,手部关节纯属猜测

body2hands开源论文中肩肘六关节的可能定义顺序:

full_bodies2.npy: (N x T x 36) array.

  • each 36D feature can be broken down into a 6x6 matrix, where the 6 joints referring to the arms are expressed in 6D rotation space.
  • The 6 joints are as follows:
    • 0: left collar,
    • 1: right collar,
    • 2: left shoulder,
    • 3: right shoulder,
    • 4: left elbow,
    • 5: right elbow

body2hands/scripts at main · facebookresearch/body2hands · GitHub

手部关节的定义估计如下所示;

上面这一行的关节点定义应该更加正确

该顺序的来源是CMU的MTC文章的附录:

 https://arxiv.org/pdf/1812.01598.pdf   MTC文章的关节定义 ---  

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐