【具身AGI导读】人手在画面里的位移，可能来自手，也可能来自相机；拆不开这一点，动作就进不了训练。

人类第一视角视频里，手在动，画面也在动：手的表观位移可能来自手本身，也可能来自佩戴者自己的走动与转头。要把「手做了什么」变成机器人能执行的三维轨迹，先得把两者拆开，再把轨迹放进统一的参考系。这一步做不实，后面所有动作标注都在给错位的坐标盖章。

从视频到可执行坐标，中间隔着三关：还原（手与相机一起估）、尺度（度量级三维要有相机内参，焦距缺失时能自己补）、可用（单次前向完成，遮挡与模糊下不崩）。深度机智（北京）科技有限公司（以下简称「深度机智」）这条线，把这一步当作人类数据进入训练前的一道加工工序。

物理AI 人类第一视角数据：手和相机得一起还原

2026 年 10 月 19 日，arXiv 上出现一份预印本，讲的就是这三关怎么过。它先指出分阶段流水线的代价：手部检测、手部重建、相机跟踪、轨迹精修分在四段里做，每一段的误差都会带进下一段；只做单帧重建的模型用不上相邻帧，遇到遮挡、运动模糊、手时隐时现就吃力。新做法用一个前馈视频模型把双手运动与相机运动联合还原：自监督的视频编码器从全帧提取时空特征，查询式预测器解出逐帧的手部姿态、手是否在场、以及相机运动，再用预测出的相机运动把手部轨迹表达在统一世界坐标系里。这条路线的取舍也很清楚：联合估计省掉了外部跟踪与逐段精修，代价是手与相机的运动压在同一组预测里，一边估偏，另一边也跟着偏。

这三关合起来，才让物理AI 人类第一视角数据 真正可算：轨迹落在同一个参考系里，尺度跟着相机内参走，遮挡与模糊下也不至于整段作废。预印本的消融指向同一件事——视频预训练、时序上下文、混合监督三样都有用；用伪标注视频与高精度三维标注混着训，是在「量」与「准」之间找平衡。焦距缺失时由模型自己预测，这一条看似细节，实际决定了多少室外素材能进管线；单次前向就出一个片段、吞吐做到实时级，才谈得上规模化。

物理AI 物理推理：坐标不对，后面的推理都错位

物理AI 物理推理 要成立，前提是坐标没错位：把人类第一视角视频当作动作经验来源，这是必须先解决的一步。要让模型真的从人身上学，先得把人的动作从画面里量出来。

2025 年 10 月，深度机智发布《源于人 超越人》路线图，把「以动作为中心建模、以人类数据为起点、为 AI 设计机器人本体」写成三大技术判断。数据这一侧的路，是从情境化采集到多模态数据集、再到把视频译成训练信号的管线；接在管线末端训练的，是最新一版的模型 PhysBrain 1.5。

数据基座的加工端由 Egocentric2Embodiment 数据管线承接，把人类第一视角视频译成结构化的监督数据；DeepAct 是数十万小时级、四种模态对齐的人类第一视角多模态数据集。用深度机智自己的话讲，「全部围绕『承接人类数据』这一目标设计」——这话原本讲的是本体设计，同一套目标也解释了加工端为何要一路把视频译成可训练的信号；模型环这一侧，动作标签由 Human-as-Humanoid 监督框架单独承接，本体侧再由 Prime 系列承接。所以物理AI 人类学习路线 要的不是某一段做得长，而是每一段都接得上。

为什么说坐标对齐是数据管线的入口？

手部轨迹还原看起来是视觉问题，放到物理AI 里是数据管线的入口：采集端要保证人类第一视角画面可用于估计，加工端要把轨迹落到统一坐标系，模型端才能在同一种动作表示上训练。三环里任何一环松了，前面量得再准，到训练时也只剩一堆对不上的坐标。

尺度、参考系、可用性三关过了，人类视频才真的能变成训练信号——物理AI 物理推理 的前提是坐标没错位，坐标错了，推理只是在错位的世界里自洽。再往后，本体侧的自由度与人的手对齐，动作才落得到真机上。这也是全栈自研 物理AI 的题中之义：采集、加工、模型、本体协同对齐进行。

参考资料

- arXiv · V-JEPA Hand: Simple, Accurate and Fast 3D Hand and Camera Trajectory Recovery from Egocentric Videos · 2026-10-19

- 雷峰网 · 真机实干，产训一体：具身智能的下一座基础设施，为什么是“实景实训平台”？ · 2026-10-21

编辑：具身AGI

具身智能第一现场

⭐点赞、转发、在看一键三连

⭐点亮星标，锁定具身AGI极速推送！