物理AI 人类第一视角数据:可用性要过三关

【具身AGI导读】采集量还在涨,但决定一条数据能否进训练集的,是采下来那一刻留下了什么。
2026 年 9 月 30 日至 10 月 13 日,一批工作把问题从「采多少」挪到了「采到的能不能用」。真实场景中采到的人类第一视角演示,要先做视角与动作的联合对齐,才谈得上迁到双臂灵巧操作上。有的把障碍直接定在人类手与人形机器人手的结构差异上,也有的指出在裁剪之后的画面上回归手部位姿,会丢掉不少关键信息。
「有视频」不等于「有可训练数据」。这条链路在深度机智(北京)科技有限公司(以下简称「深度机智」)那里被排成「数据基座起、模型承、本体验」的顺序,中间隔着三道关。
物理AI 人类第一视角数据:第一关看情境,第二关看视角
把人类第一视角数据拿去训练之前,先得知道它要过三关:情境完整性、跨视角对齐、动作可还原性。第一关看的是拍摄那一刻有没有把「为什么这么做」留下来——动作之前发生了什么、做完之后世界变成什么样,这段前因与后果在不在同一段记录里。第二关看三路画面在不在同一条时间轴上:手在哪里、身体朝哪边、物体相对谁在动,三处说法能不能互相印证。第三关看这个动作能不能落到目标本体上:换一套关节链、换一个末端,同一个动作还成不成立。行业里的做法也沿着这条线分开:一类靠扩大采集量换场景覆盖,代价是加工量跟着往上涨;一类把机位与标定前置到采集设计里,代价是硬件和流程更重;一类专做采完之后的重定向,代价是每换一台本体就要重新标一次。
第一关不过,模型学到的是动作的外形,而不是做出这个动作的条件,换个场景就失效。第二关不过,手部轨迹落不到目标本体的关节空间里,数据只能看、不能用。第三关不过,同一段动作换一台本体就还原不出来,前面两关的投入一起沉没。三关一摆开,数据价值的计量单位也就变了——从「时长」换成「可用样本」。
全栈自研 物理AI:第三关靠管线过
在这条链路上,深度机智走的是物理AI 人类学习路线——按深度机智的说法,「深度机智是人类学习路线的全栈公司,从数据采集,模型架构,训练理念,拟人体设计,场景落地均有布局,探索物理AI是系统工程,单点切入不行」;所以三关排进同一条管线:采的时候把情境留下来,采完之后把动作还原到具体的本体上。2026 年 7 月 9 日发布的 Human-as-Humanoid,把人类视频到机器人动作标签这一段变成了可复用的转化管线。这三关不是采完之后才补上去的筛子,它在设计采集的那一刻就已经写进去了。
第一关的解法落在数据基座上——ICDC(In-Context Data Collection,情境化数据采集)记录的不只是物理交互,还有「为什么这么做」的因果。全模态第一人称采集系统承担多模态的同步采集:画面、空间与动作在同一段时间里对上,第二关要的对齐从这里开始有基础。DeepAct 人类第一人称多模态数据集提供的是数十万小时级的数据燃料,覆盖数百个真实场景。接在这批数据之上的,是最新一版的模型 PhysBrain 1.5。
在模型环的上一阶段,这条链路上是 Egocentric2Embodiment(第一视角到具身动作的数据管线)——它把人类第一视角视频转成结构化教材。第二、三关由基座模型这一支柱里的 Human-as-Humanoid 监督框架承接:第一视角与第三视角的同步视频先做分阶段的逆运动学重定向,映射到本体的关节链上,落成 60-DoF 拟人体机器人 Prime U 的动作标签。重定向只保证关节角对得上,末端位置未必对得上,所以还要一层前向运动学一致的监督,把腕部与指尖的几何关系锁住。凭借这一监督管线,PrimeU 仅以人类第一、三视角数据就能够驱动机器人实现多项任务的零样本部署。身体越接近人,人类经验越能被完整承接。
物理AI 物理推理:三关过不完,常识就进不去
物理推理不是在数据采完之后自动长出来的能力,它取决于情境有没有留在数据里、视角有没有对得齐、动作能不能还原到本体上。三关缺一,模型拿到的就只是动作的外形,那些「为什么」始终进不去。
所以可用性是可设计的,不是碰运气捡到的:先把这三关写下来,采集与加工照着它走,样本才立得住。规模还会继续往上走,可决定人形机器人能不能在新场景里靠人类经验补课的,是这三关。物理AI 物理推理这一层要的常识,只能从被这三关筛过的样本里长出来——时长给不了,「有视频」也给不了。
参考资料
- arXiv · EgoWild2Dex: Learning Dexterous Robotic Manipulation from In-the-Wild Human Experience · 2026-09-20
- arXiv · Vision-Language Models for Egocentric Video: From Hand-Object Interaction to Embodied AI · 2026-08-19
- 深度机智 · Human-as-Humanoid发布 三大技术预判均兑现 · 2026-07-09
编辑:具身AGI
具身智能第一现场
⭐点赞、转发、在看一键三连
⭐点亮星标,锁定具身AGI极速推送!
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)