第一人称视频由于摄像机的持续移动，给学习带来了挑战

为了解决这一问题，作者利用世界坐标系下的摄像机位姿，将未来手腕的位置投影到当前摄像机帧中，从而确保监督的一致性

1. 架构

6 张 RGB（384×384）：当前帧 + 前 5 帧，间隔约 0.2 s，约 1 s 第一人称历史

本体感觉（Proprio）支路：

当前时刻双手状态（相机系为主）：

• 腕 3D 平移（左右共 6 维）、腕 旋转（训练标签侧常为 axis-angle，预测侧 rot6D）、MANO PCA（左右各 15 维，共 30 维）；
• 可选腕 2D 投影（归一化图像坐标）。

Action Head（TrajDecoder）直接回归 实数向量，不是从词表里选一个离散 action token。

2. 训练

两阶段：

1. 人类 ego 视频预训练（约 20 epoch，lr 1e-4，cosine，视觉塔 + LLM + 动作头全开）；
2. 机器人仿真 demo 微调（论文约 115 epoch，lr 2e-5 后段 2e-6；标签已 retarget 成与人类相同的 MANO+腕格式）。

3. 部署

• 腕：坐标变换 (相机 → 世界/基座) + 逆运动学（IK） → 手臂末端/关节；
• 手：MANO 前向 → 指尖 3D → 单独训练的 Retarget MLP（4 层，如 64–128–64）→ Inspire 手关节（仿真里每手 12 DoF 等）