2026 年 7 月，北大、港科大、新国立、港中文、港大、杜克、UC Berkeley、乔治城、南大、上交联合挂出一篇综述《Data Pyramid for Embodied Manipulation: A Survey》（arXiv:2607.24744）。它要回答的问题很直接：训练一个能在真实世界抓东西、开门、倒水的具身基础模型，到底要喂什么数据。视觉大模型可以吃完整个互联网，但具身智能不行，因为它必须把观测、物理状态和动作绑在一条样本里，而这种绑定只能靠多源数据以不同保真度拼出来。

这篇综述的价值不在提出新方法，而在于把过去三年散落在各篇论文里的数据工作——DROID、AgiBot World、UMI、Ego4D、ManiSkill、RoboTwin 等等——放进同一个坐标系里比较。作者自己也很克制，反复强调这张图只画清了地形，并没有给出经过等预算消融验证的最优数据配方。

一座五层金字塔，两根主轴

作者用两个维度组织数据：可扩展性（再采一份要花多少硬件、人力、复位和安全成本）和机器人对齐程度（这条样本里的观测和动作能不能直接拿来训真机策略）。质量、多样性、可复用性、物理保真度是四个辅助判断维度。金字塔从尖到底依次是真机数据、UMI 类手持采集数据、第一/第三人称人类视频、仿真数据、通用视觉语言数据。

层级	代表资源	直接价值	主要代价
真机数据	DROID、AgiBot World、Open X-Embodiment	观测—动作—后果来自同一真实系统，含真实噪声与摩擦	贵，受硬件和场景限制
UMI 类	UMI、FastUMI-100K、DexUMI	采集时不需要机器人，末端位姿结构化	仍需标定、重定向和真机验证
人类视频	Ego4D、Ego-Exo4D、HOT3D、EgoDex	真实交互、长时任务结构、抓取先验	动作不可直接执行，要重建
仿真	ManiSkill、RoboTwin、RoboCasa、MimicGen、DexGraspNet	并行、可控、带完整位姿和奖励标注	观测/运动学/动力学三层 gap
通用数据	图文、视频、分割、3D、抓取、规划语料	感知、语义、空间、常识打底	缺动作和接触约束

这张表不是质量排名。作者明确说排序是多维度的综合概括，不是每条属性都严格单调：仿真能给出明确的机器人动作，普通人类视频给不出，但人类视频里的接触发生在真实物理世界。

真机数据：规模在涨，但"有效覆盖"没跟上

真机数据的核心优势是观测、动作和物理后果来自同一个真实系统，天然包含传感噪声、控制延迟、摩擦和硬件限位。采集方式分三类：脚本化自动回放、人工示范（拖动示教、主从遥操作、VR/手机、视觉动作映射、穿戴设备）、人在回路纠正（机器人自己跑，错了人介入，专门回收失败恢复样本）。规模数字很有冲击力——DROID 约 7.6 万条轨迹、350 小时；AgiBot World Beta 到了约 100 万条轨迹、2976 小时。但作者提醒，重复同一种任务的轨迹堆不出更广的能力覆盖，真正值钱的是部署时实际遇到的偏差、失败和纠正片段。

• DROID 项目主页：https://droid-dataset.github.io/
• DROID 论文（RSS 2024）：https://arxiv.org/abs/2403.12945
• AgiBot World（arXiv:2503.06669）：https://arxiv.org/abs/2503.06669

UMI：把采集和目标机器人解耦，但不是"免适配"

UMI（Universal Manipulation Interface）让一个人拿着带相机的便携夹爪在真实场景里操作，同步记录相机观测、末端位姿和夹爪开合，部分系统还加触觉和力反馈。流程是：人操作采集装置 → 恢复末端运动轨迹 → 表示成相对位姿和夹爪命令 → 映射到目标机械臂的控制接口。关键设计是末端中心的相对动作表示，记录"工具怎么动"而不是"哪个关节怎么转"，从而摆脱对单一机械臂结构的依赖。FastUMI-100K 这类工作已经把这条路规模化。

但"采集时不需要机器人"不等于"部署时不用适配"。人的活动范围、工具形状、相机位置和接触方式都可能和目标机器人不一致；追踪误差和同步误差会污染动作标签；UMI 数据里通常没有目标机器人的关节状态和执行器动力学。它适合扩大真实场景下的示范覆盖，落地前仍要靠真机数据做验证和校准。

• UMI 项目主页：https://umi-gripper.github.io/
• UMI 论文（RSS 2024）：https://arxiv.org/abs/2402.10329
• DexUMI（用真人手做接口）：https://dex-umi.github.io/
• UMI on Legs（跨本体部署框架）：https://umi-on-legs.github.io/

人类视频：最富的矿，但要会炼

第一人称视角贴近操作者眼睛，第三人称补全被手遮挡的身体和环境。作者把从视频里能榨出的监督分成四层：语义监督（动作名、语言描述、步骤、任务进度）、几何监督（相机位姿、手部关节、物体位姿、轨迹）、多模态监督（注视、音频、IMU、肌电、力与触觉）、面向机器人的监督（重定向动作、人机对应关系）。代表资源包括 Ego4D（3600+ 小时第一人称视频）、Ego-Exo4D（第一/第三人称同步多视角）、HOT3D、EgoDex（论文表 3 列了约 829 小时灵巧手相关数据）。

这里有个容易被忽略的事实区分：交互本身发生在真实世界，但从视频里恢复出来的手部姿态、接触点和机器人动作是有误差的。遮挡、运动模糊、尺度不确定性、人手与机械手的结构差异会沿着处理流程一路累积。所以作者倾向把人类视频定位成"任务意图、抓取选择、接触顺序和工具使用策略"的来源，再用真机数据落实具体执行。

• Ego4D：https://ego4d-data.org/
• Ego-Exo4D：https://ego-exo4d-data.org/

仿真：可控、可并行，但三层 gap 都要还

仿真体系由三块拼起来：机器人本体及其传感器/执行器/控制接口、物体与场景资产、物理引擎与渲染。数据生成手段包括人工示范、运动规划器脚本、种子轨迹扩增、强化学习策略执行，以及用语言模型生成任务和场景。MimicGen 从不到 200 条人工示范扩增出 5 万多条轨迹；ManiSkill、RoboTwin、RoboCasa 各自代表不同的任务和仿真生态；DexGraspNet 2.0 在仿真里批量生成灵巧抓取姿态。仿真还能白送物体位姿、分割、接触状态、奖励和成功标签——这些在真机上要花大力气才能标。

作者把 sim-to-real gap 拆得很清楚：观测差距（纹理、光照、深度噪声、遮挡）、运动学差距（关节限位、坐标系、标定）、动力学差距（摩擦、柔顺、延迟、形变、惯性）。世界模型在论文里被当作"学习出来的模拟器"讨论，可以用来训练、评估和合成数据，但作者特别警告：生成视频看起来合理，不代表动作后果真实、轨迹可执行、策略评估可靠。

• ManiSkill 文档：https://maniskill.readthedocs.io/
• RoboTwin（双臂桌面基准）：https://github.com/RoboTwin-Platform/RoboTwin
• RoboCasa 主页：https://robocasa.ai/，GitHub：https://github.com/robocasa/robocasa
• MimicGen 主页：https://mimicgen.github.io/
• DexGraspNet GitHub：https://github.com/PKU-EPIC/DexGraspNet

通用数据：为操作补前置能力

最底层覆盖的内容远超图文问答：视觉语言数据补物体、功能、指令和常识；分割/定位/可供性数据补"哪里能抓、按钮在哪、东西放哪"；三维数据补深度、距离、空间关系和可达性；规划数据补"目标拆成哪几步"；时序数据补"事件何时发生、状态怎么变"；物理与失败推理数据补"这么做会怎样、错了怎么救"；抓取数据直接给抓取姿态和接触位置。执行"打开抽屉"这一个动作，背后要识别抽屉、定位把手、估计空间关系、理解动作顺序，再翻译成控制命令——每一步都有一类通用数据在补。

同一份数据喂给不同模型，角色不一样

模型类型	主要目标	无动作标签数据怎么用	有动作标签的数据怎么用
具身大脑模型	感知、空间推理、记忆、规划	学语义、时序、物理常识	转成可供性、轨迹点、子任务监督
VLA（视觉—语言—动作）	根据观测和指令出动作	学通用表示、动作代理、中间推理	直接训练策略和动作生成
WAM（世界—动作模型）	建模世界变化和动作影响	学未来观测和时序先验	建动作条件预测，反哺控制和规划

两个技术点值得单独记住。第一，没有动作标签的视频也能参与策略训练：一种做法学"潜在动作"，从前后观测里抽紧凑的变化表示；另一种做法恢复可解释的几何量，比如点轨迹、物体运动场、腕部运动。这些表示能扩大预训练规模，但后面仍要靠动作解码、重定向或真机示范把它们接到真实控制上。第二，跨本体联合训练要同时解决动作语义和几何坐标——作者归纳了三种动作接口：各机器人保留原生动作头共享中间表示、统一维度补零、预先规定机械臂/末端/夹爪/手指的语义槽位再加 mask。数据文件格式统一只解决了存储问题，监督是否兼容还得看参考系、单位、旋转表示、绝对/增量动作和工具中心点这些物理语义。

作者自己列的六个开放问题

触觉数据仍然稀缺，主流数据集基本靠视觉，滑移、压力、形变信号缺失，触觉设备之间也不互通。失败和恢复数据被成功示范压过，二元成功/失败标签太粗，需要记录失败前兆、发生时刻、原因、恢复动作和结果。规模化采集的瓶颈在遥操作成本和穿戴设备的追踪、标定、舒适度、耐用性。跨本体的状态—动作不一致没解决，同一个数值在不同平台里物理含义不同。人类灵巧操作迁移不到机械手，因为人手和机械手在结构、摩擦、柔顺、力限上都不一样。最后也是最关键的：数据配方没有原则，现有文献里比例、训练阶段、架构和目标全混在一起，缺少等计算预算的对照实验。

我自己读下来觉得要泼的冷水

这篇综述的五层分类其实混合了三种分类逻辑——真机和仿真按来源分，UMI 按采集接口分，第一/第三人称按视角和主体分，通用数据按监督用途分。结果就是同一篇工作会在不同表里重复出现：RoboNet 既在真机表也在通用表，DexGraspNet 既在仿真表也在通用表。作为叙述地图没问题，但不能直接拿来做互斥统计。

六个评价维度也没有统一度量和聚合权重。针对特定机器人和任务的仿真数据，可能比一般人类视频更直接有用；高噪声、覆盖狭窄的真机数据，也未必比多样化的人类视频更有训练价值。金字塔适合建立直觉，不能直接推出预算分配。

对"规模"的整理也比对"有效信息量"的分析充分。图 2 用示范数、视频小时数、问答对数等不同单位混排，作者说明了口径差异，但没有进一步区分独立采集经验和重复片段、完整轨迹和单个抓取候选、原始数据和扩增重定向后的派生数据、名义数据量和通过质检的可用数据量。数量能描述规模，换算不成学习价值。

最后一句是作者自己的结论强度：它解释了为什么各种数据可能有用，但没有证明某个组合在所有条件下最优。想做具身数据工程的人，拿这篇综述当地图很合适，拿着它直接定配比还太早。

资源清单

• 论文 PDF（v2）：https://arxiv.org/pdf/2607.24744v2
• 论文摘要页：https://arxiv.org/abs/2607.24744
• 项目主页（含 BibTeX 和图表索引）：https://jasper-aaa.github.io/embodied-data-pyramid/
• DROID：https://droid-dataset.github.io/
• AgiBot World：https://arxiv.org/abs/2503.06669
• UMI：https://umi-gripper.github.io/
• DexUMI：https://dex-umi.github.io/
• Ego4D：https://ego4d-data.org/
• Ego-Exo4D：https://ego-exo4d-data.org/
• ManiSkill：https://maniskill.readthedocs.io/
• RoboTwin：https://github.com/RoboTwin-Platform/RoboTwin
• RoboCasa：https://github.com/robocasa/robocasa
• MimicGen：https://mimicgen.github.io/
• DexGraspNet：https://github.com/PKU-EPIC/DexGraspNet