世界动作模型之 Dream-1 详解：跨本体零样本控制，边界仍在双臂平行夹爪

猫先生Mr.Mao

291人浏览 · 2026-10-28 17:51:39

猫先生Mr.Mao · 2026-10-28 17:51:39 发布

写在前面

【从零走向AGI】旨在深入了解通用人工智能（AGI）的发展路径，从最基础的概念起，逐步构建完整的知识体系。
项目地址🔗：https://github.com/AI-mzq/From-Zero-to-AGI.git

魔方AI空间
猫先生
从零走向AGI
面试面经

AIGC算法岗/开发岗面试面经交流社群（涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源）欢迎大家加入：https://t.zsxq.com/YtJ09

导读

Dream Labs 在 2026 年 10 月发布 Dream-1，称它是一种可通过 API 调用的世界动作模型（World Action Model，WAM）：面对训练中没有出现过的机器人和任务，也能直接尝试执行。它要缓解的是机器人领域的冷启动困境——新机器人缺少本体数据，策略难以部署；没有可用能力，又很难积累真实使用数据。

公开页面把 Dream-1 的跨本体思路归纳为两层：一层把动作表达为双臂末端执行器（EEF）的位姿与夹爪开合状态，再由机器人自身的逆运动学（IK）求解器转成关节命令；另一层是 WAM 同时预测未来视频与动作，让不同机器人都以图像中的运动状态参与建模。官方报告在 27 种未见仿真机器人和 4 种真实机器人上做过零样本测试，并展示了未见任务案例。

但“新机器人无需重新训练”不能理解成任何形态、任何末端执行器都能即插即用。Dream Labs 明确把当前能力限定为双臂、平行夹爪操作；控制质量依赖 IK，障碍物绕行、关节极限以及与训练分布差异很大的机构仍可能导致失败。Dream-1 也没有公开论文、权重或足以复现训练过程的技术细节，现阶段应把它看成有公开演示、基准测试和 API 的研究型产品，而非可独立复现的学术模型。

猫先生认为，Dream-1 最值得关注的不是“机器人终于不用数据了”，而是它把跨机器人复用拆成了共享的视觉预测表征 + 可由本体 IK 落地的末端动作接口。这让零样本迁移有了工程抓手；同样也意味着它目前仍依赖相近的操作形态和可靠的机器人运动学配置。

产品/研究页：https://dreamlabs.ai/research/dream-1/
论文地址：暂无；Dream-1 当前公开材料为研究/产品发布页
项目主页：https://dreamlabs.ai/research/dream-1/
相关前序工作 DreamZero：https://dreamzero0.github.io/
独立基准 RoboDojo-RC：https://robocurve.org/
API 入口：https://platform.dreamlabs.ai/

原文脉络

Dream Labs 的发布文章不是传统论文，没有摘要、方法章节、消融表格和结论章节。其叙事顺序是：机器人数据冷启动问题与低价硬件趋势 → DreamZero 的早期 WAM 经验 → Dream-1 的零样本机器人演示 → 跨本体机制解释 → 能力边界与 FaaS 少样本适配 → 后续方向。下面沿这个顺序解读，并把官方陈述与可独立查看的评测分开。

1. 冷启动：为什么新机器人总要重新采数据

机器人策略通常在特定本体上采集示教和交互数据。换一台机械臂，关节数量、连杆长度、相机位置、夹爪形态和工作空间都可能改变；旧策略输出的关节角不再对应新机器人的动作。于是每个新硬件都要重复数据采集、标注和策略适配，规模化部署被数据成本卡住。

Dream Labs 的判断是，硬件价格下降会带来更多机器人，但若每台机器人都要从头采集大量数据，机器人数量增加并不会自动产生可用性。Dream-1 试图让一部分通用操作知识能在相近机器人之间直接迁移，以便新机器人先具备基本能力，再通过真实使用扩展数据。

它的前序脉络是 DreamZero。团队称，DreamZero 在 YAM 机器人上用约 30 分钟数据进行后训练后，能够零样本完成未见任务。这个结果说明 WAM 的未来状态预测可能承载跨任务知识，但它不是“完全不需要数据”：YAM 上仍做了后训练。Dream-1 的新主张则是对若干未见本体直接迁移。两者不应混为一谈，Dream Labs 当前发布页也没有披露 Dream-1 与 DreamZero 在网络结构、训练集和训练目标上的完整对应关系。

2. Dream-1：从零样本演示到可调用 API

Dream-1 的公开形态不是下载模型权重，而是一个托管 API。用户把观测送入接口，选择 dreamlabs/dream-1 策略，再获取动作。页面展示了多家合作伙伴或测试点的任务，以及自动执行的衣物折叠、物品收纳、擦拭台面等任务视频。演示能说明系统在特定场景中确实跑通过，但视频数量、任务选择和成功判定仍由发布方呈现，不能单独视为广泛能力评估。

官方给出的跨本体范围是：仿真中 27 种未见机器人；真实机器人部分列出 4 种本体、共 21 段视频片段。页面进一步说明，仿真每种本体做 300 次 rollout，其中 150 次用于 50 个语言跟随任务、另 150 次用于 150 个未见任务泛化评测。真实机器人使用了此前未在这些机器人上训练的 Dream-1 checkpoint，并与同 checkpoint 在 YAM 上的表现比较；OpenYAM 部分测的是未见任务。这里的“27+4”不是 31 种真实机器人，更不是所有类型机器人的覆盖证明。

3. 核心机制：视觉世界状态与共享末端动作

3.1 从关节角输出转向共享 EEF 接口

常见策略直接预测各关节角。关节动作天然绑定特定机器人：一个 6 轴机械臂的关节向量无法原样交给 7 轴双臂平台。Dream-1 还可预测末端执行器（EEF）的目标位姿，以及夹爪应该打开还是闭合。两个机械臂的末端目标比整套关节角更接近任务层描述，例如“把右手夹爪移到杯柄附近并抓取”。

对于新机器人，系统由该机器人的 IK 求解器把目标 EEF 位姿换算为可执行的关节配置。这样模型无需为每套关节结构学习一组完全不同的输出维度。它把部分本体差异移交给已有机器人控制栈解决——跨本体能力不是模型独自完成，而是模型与本体 IK 的组合能力。

3.2 WAM 的关键：预测动作，也预测动作造成的画面

只有共享 EEF 接口还不足以解释泛化。不同机器人可能有不同相机布局、连杆遮挡和夹爪外观；单靠坐标对齐并不能保证模型懂得这些外观与动作后果。Dream Labs 称 Dream-1 使用头部视角和两个腕部视角观察场景，并将未来视频与动作联合预测。

直观地说，策略不仅要给出“夹爪往哪里走”，还要学会“如果这样动，场景接下来会怎样变化”。视频像素提供了相对通用的世界状态描述：机器人形态可以变，但物体移动、接触、遮挡和任务进度仍能体现在画面变化中。模型用未来视觉变化来约束动作预测，潜在地学到跨本体共享的操作规律。

Dream-1公开机制的概念示意：WAM结合多视角观测预测未来视觉状态和EEF动作，本体IK将EEF目标转换为关节命令
图 1：按 Dream Labs 公开页面中的机制描述绘制，非作者发布的原始架构图。它突出两种接口：跨本体共享的视觉状态与EEF目标，以及每个机器人自己的 IK/关节控制。

这也解释了它与只用腕部相机的跨臂迁移思路的区别：腕部视角能让相同夹爪看起来较一致，但对夹爪形状匹配依赖较强，也看不到完整场景；WAM 将头部全局视角与未来视频预测纳入统一表征，目标是降低“不同机器人看起来不一样”造成的迁移障碍。要注意，这段是 Dream Labs 对机制的解释，公开页面并未给出可检查的网络图、训练损失公式或消融实验来量化视频预测对性能的具体贡献。

猫先生认为，EEF 是“可执行的共同语言”，视频预测是“可能学到共同规律的表征”。前者解决动作维度不一致，后者尝试解决观测与动力学差异；如果只讲前者，就会把 Dream-1 误读成简单的坐标转换器。

3.3 可迁移性与代价：谁来承担运动学差异

EEF 目标让模型输出更通用，但也把路径规划的一部分留给机器人本体控制器。页面列出三类风险：表现依赖 IK 求解质量；模型决定夹爪最终到哪里，却未必控制机械臂沿哪条路径到达，因此可能在绕障或接近关节极限时出问题；若新机器人的工作空间、运动学或动力学与训练经验相差很大，模型预测的目标状态可能不可达。

所以零样本迁移的适用条件至少包括：摄像头观测能覆盖任务关键区域；夹爪与任务仍落在模型当前熟悉的操作家族；本体 IK 能稳定求解；新机器人工作空间与训练分布没有过大偏移。硬件配置、坐标系、相机标定和安全控制也仍是部署工作的一部分，“接 API 即可运行”不能替代这些工程校验。

4. 评测与成本：演示、仿真统计和独立基准各回答什么

Dream Labs 公布的仿真 rollout 结构比单个成功视频更有信息量：它分别测试语言指令跟随和未见任务泛化，并比较不同本体。但公开页面没有提供所有逐本体分数、置信区间、完整任务定义或统计显著性，因此读者暂时无法独立重算“跨机器人提升有多稳定”。真实机器人部分也更适合作为可行性证据，而非大规模覆盖率估计。

另一个可核验信号来自 RoboDojo-RC Tier 1。RoboCurve 网站报告 Dream-1 的平均得分为 59.3%，每种配置评测 120 次；VLA 的上限是 3,600 个控制步，Dream-1 托管推理的估算成本为每次任务尝试 0.15 美元，平均约 1.5 分钟。这个分数支持 Dream-1 在该基准和该评测协议下表现较强，但不等同于“任意新机器人成功率 59.3%”。基准得分、发布方演示和跨本体实验是三种不同证据，不能混成一个结论。

Dream Labs 另外标出 API 价格：Dream-1 每小时 3 美元，Dream-1-flash 每小时 2 美元；每次调用返回 1.6 秒动作，按官方换算，标准版约 0.0013 美元/动作。RoboCurve 报告的 0.15 美元/任务尝试与每小时价格口径不同，不能直接拿来相除或当成矛盾数据。真实部署总成本还会受调用频率、机器人运行时长、网络、传感器和现场维护影响。

5. 能力边界与少样本适配：零样本不是终点

Dream Labs 将当前 Dream-1 定位为双臂平行夹爪操作策略。灵巧手、移动操作臂等差异更大的本体尚不属于公开承诺的即插即用范围。页面称其研究测试版尚未通过安全关键场景验证，并提醒在受控环境测试、机器人靠近人员时格外谨慎。这是重要的部署边界，而不是附带免责声明。

当零样本效果不够时，团队提供 Fine-tuning-as-a-Service（FaaS）。发布材料展示两台机器人各采集 5 分钟数据后，执行同一指令的效果有所改善；12 台合作机器人中，有 10 台的语言跟随分数在微调后提升。与 Dream-1 熟悉程度差异大的案例需要更多数据：Sharpa 灵巧手案例采集 77 分钟，替换为不同末端工具的 YAM 案例采集 98 分钟。

这组结果让“无需针对新机器人重新训练”有了更准确的解释：对当前支持的本体家族，目标是先用零样本策略启动；而在表现不稳或本体差异更大时，仍需少量本体数据做适配。数据门槛可能从数百小时降到分钟级，但公开页面没有说明这些分钟数据的采集覆盖、训练成本、适配等待时间与跨任务保留情况，因此还不能把 FaaS 的“分钟”直接当作普遍部署成本。

总结：把机器人迁移问题拆成两个接口

Dream-1 的技术价值可以归纳为两点：使用 WAM 的视频—动作联合预测，尝试从像素层面建立跨本体的共享世界表征；使用 EEF 位姿与本体 IK，把任务目标接到不同机器人的关节控制空间。官方的仿真和真实机器人结果、RoboDojo-RC 分数，为这个方向提供了早期证据。

但已公开证据支持的是一个更窄、更具体的结论：Dream-1 在双臂平行夹爪这一类操作机器人上展示了零样本跨本体潜力，并允许在不够好时用少量数据适配。它没有证明任意机器人都能免训练，也未公开足够细节供社区独立复现。若要评估它是否适用于实际项目，首先应核对末端执行器、相机视角、IK、工作空间与安全控制，而不是只看演示视频或每小时 API 价格。