在实验室里，一台双机械臂机器人正面对一项新任务：将散落的耳机和充电仓整理收纳。它从未在当前的桌布纹理和特定光照条件下练习过，但任务开始后，机械臂流畅地定位、抓取、放置，最终合上仓盖，一气呵成。这背后，并非它拥有海量的同类场景训练数据，而是因为它搭载的“世界模型”能在执行前，于脑海中“想象”并推演了整个操作过程。

这正是具身智能（Embodied AI）追求的愿景：智能体不仅能感知环境，更能理解物理规则，并基于对未来的“想象”做出决策。然而，让AI模型生成符合物理规律、视角一致且能与机器人本体状态兼容的“想象画面”，一直是巨大挑战。现有的图像、视频生成大模型虽能创造逼真内容，却难以保证多视角几何一致性，也常忽略机器人的运动学约束。

近日，小米机器人团队发布了 Xiaomi-Robotics-U0（简称U0），一个参数量达380亿的统一具身合成模型。它创新性地将具身生成视为基础图像与视频生成的自然延伸，首次在一个自回归框架内，统一了文生图、图编辑、具身场景生成、具身迁移和具身视频生成五大能力。这不仅让机器人拥有了高质量“想象”与规划的能力，更使其成为一个强大的合成数据引擎，为下游策略学习提供近乎无限的训练素材。

研究背景：从“观看”到“交互”的鸿沟

近年来，基于互联网海量数据训练的基础图像与视频生成模型取得了长足进步，在语义理解、可控生成和视觉推理方面展现出强大能力。这些大模型能够根据多模态输入合成高度逼真的图像和视频，其泛化能力往往远超训练数据的分布范围。这种能力使其成为具身智能极具吸引力的起点——机器人需要在行动前，对复杂环境进行推理并“想象”未来的交互。

然而，具身生成 带来了与常规图像视频合成截然不同的根本性挑战。与自然图像生成不同，具身场景要求：

• 严格的多视角一致性：不同摄像头拍摄的画面中，物体身份、位置、尺寸和遮挡关系必须统一。
• 精确的几何与物理连贯性：生成的观测必须符合三维空间几何和物理规律。
• 显式的机器人本体约束：生成的机器人状态必须与其运动学、摄像头校准参数兼容，而不仅仅是看起来逼真。

直接应用现有的基础图像或视频生成模型到具身场景，往往会导致几何不一致、机器人状态不合理以及与机器人控制兼容性差等问题。

现有的具身世界模型尝试通过使用机器人轨迹或第一人称操作视频来持续微调预训练的基础模型，以弥合这一差距。虽然这些方法取得了鼓舞人心的进展，但其适应范式与基础模型的预训练存在根本差异。微调通常仅在机器人专用数据集上进行，而这类数据集的规模、多样性与互联网规模的视觉语料库相比要小得多、重复性也高。这种适应不可避免地削弱了从基础模型继承的泛化能力，限制了具身生成的多样性、可控性和可扩展性。

核心创新：统一的具身合成范式

Xiaomi-Robotics-U0 的核心思路在于，不将基础模型特化为一个机器人专用生成器，而是将具身合成重新定义为基础图像与视频生成的自然延伸。

图1：Xiaomi-Robotics-U0的具身与通用能力概览

图1：U0的具身与通用能力。矩形框对应同一本体下的初始观测、配对迁移样本以及视频关键帧。所有帧均为参考或生成的图像。

研究团队从一个已具备强大图像生成和图文交错建模能力的世界基础模型（基于Qwen-3-32B）出发，在统一的自回归目标下，持续在通用领域和具身数据集上进行联合训练。模型同时学习文生图、图编辑、具身场景生成、具身迁移和具身视频生成。

图2：U0支持的所有任务概览。灰色：输入；橙色：输出。

这种统一框架的关键优势在于，它在让模型适应机器人中心的多视角推理和交互建模的同时，完整保留了基础模型丰富的语义知识和可控生成能力。所有任务都被表示为统一的多模态词元序列，并通过同一个“预测下一个词元”的目标进行优化，使得知识能够在图像生成、场景理解、具身推理和未来预测之间自然共享。

关键技术详解

1. 结构化可控的具身迁移

这是U0的一项标志性能力。给定一个多视角的深度图（表征场景几何）和一段希望改变场景要素（如背景、光照、工作台面）的文本描述，模型能够生成符合新描述、且严格遵循输入几何约束的多视角一致RGB图像。

图3：具身迁移的定性结果。每个例子展示了场景描述、从中提取深度条件的原始多视角RGB图像，以及U0生成的图像。模型在遵循编辑后文本的同时，也严格遵守了输入深度图的几何条件。

研究团队引入了结构化控制公式，将工作空间、背景、前景无关物体、目标物体和光照分解为独立的控制维度。这使得在保持几何一致性和交互动态的前提下，进行可扩展的具身视频增强成为可能。在基准测试中，U0在深度一致性、结构保真度和语义 grounding 等所有指标上均大幅领先于GPT-Image-2.0。

2. 高质量多视角具身场景生成

U0能够根据对机器人本体类型和场景的文本描述，直接生成多视角、几何一致的初始机器人观测画面。这相当于为机器人“凭空”创造了一个符合物理规则的虚拟训练场景。

图4：U0为不同机器人本体类型生成的具身场景。模型能够根据开放域的文本描述，生成逼真且几何一致的多视角初始场景。

在人工 pairwise 评估中，U0在大多数对比中胜过了GPT-Image-2.0，在多视角一致性方面优势明显，同时在指令跟随方面保持可比性能。GPT-Image-2.0生成的单张图像质量高，但跨视角存在严重的几何不一致，如物体位置、尺度冲突等；而U0生成的各视角观测则具有统一的空间布局。

3. 从静态场景到序列世界建模

U0不仅限于单步生成，还通过交错的多任务-子目标学习和多帧率具身视频生成，将具身生成扩展到序列化的世界建模。这意味着，模型可以从一个合成的初始场景出发，根据语言指令，连贯地“推演”出整个操作过程的视频。

图5：U0生成的视频结果。模型能够根据初始帧和语言指令，预测出物理合理的未来帧序列，例如抓取杯子、处理可变形物体（纸张）等。

这一能力将基础世界模型转化为一个可扩展的具身数据引擎。生成的场景可以直接展开为时间上连贯的操作视频，为下游策略学习提供丰富的合成轨迹。在权威的World Arena基准测试中，U0在超过100个提交模型中排名第一，综合EWMScore得分最高，尤其在指令跟随、交互质量和运动平滑度等方面表现突出。

4. 高效的推理加速

为了提升实用效率，团队为U0引入了FlashAR+扩展，并与vLLM推理系统集成。其核心思想是在保持对参考图像等多源条件建模能力不变的同时，对最终的目标图像区域进行并行的自回归生成。在1024×1024分辨率的单张图像生成上，相比标准自回归解码，加速路径实现了最高82.9倍的延迟降低，同时几乎保持了生成质量。

图6：U0 FlashAR+扩展用于X2I生成。目标图像词元按对角线步骤分组，所有输入条件保留在前缀中，目标图像使用步骤因果注意力掩码生成。

实验结果：全面提升机器人能力

零-shot数据增强提升策略鲁棒性

研究团队利用U0的结构化文生图能力，对四个真实世界任务（包装盒、折叠毛巾、包装手机、包装耳机）的演示轨迹进行数据增强。对于每条轨迹，他们使用视觉语言模型生成背景、工作空间、光照等维度的上千种多样化描述，然后随机组合并输入U0进行生成。

图7：使用U0的具身迁移能力对多视角操作轨迹进行zero-shot增强。左图为原始关键帧，右图为迁移后的关键帧，视觉覆盖范围得到极大扩展。

将这些增强数据与原始数据混合用于训练下游机器人策略（π₀.₅模型）。在真实机器人实验中，在干扰组（使用未见过的工作台布和光照条件）测试下，使用U0增强数据训练的策略，其任务完成进度显著高于仅使用原始数据训练的策略。具体来说，在具有挑战性的真实世界操作任务上，策略的分布外成功率从36.9%提升至63.2%。这证明U0生成的合成数据能有效提升策略对视觉分布变化的鲁棒性。

保留强大的通用生成能力

一个重要的验证点是，在向具身合成进行适配后，U0是否遗忘了其原本强大的通用图像生成与编辑能力。通过在GenEval和ImgEdit基准上的测试，结果表明U0在大多数外观导向的生成和局部编辑任务上仍保持竞争优势。性能下降主要局限于需要多重约束组合、精确空间 grounding 或符号绑定的高度复杂场景。这证实了U0在获得具身能力的同时，成功避免了灾难性遗忘。

总结与展望

Xiaomi-Robotics-U0 展示了一条将基础世界模型的强大视觉知识迁移到具身智能的有效路径。通过统一的训练框架，它不仅在多项具身生成任务上达到了领先水平，还作为一个数据引擎，切实提升了真实机器人策略的泛化能力。

这项工作表明，基础世界模型不仅可以作为具身世界模型，更能成为可扩展的具身智能数据引擎。它为未来实现自主交互推演、持续生成多样化机器人经验的智能体系统，迈出了切实的一步。

当然，U0也存在一些局限性，例如具身迁移仍依赖深度估计作为中间表示，可能引入伪影；场景生成与视频生成是分离的，长程推演可能累积误差等。未来的工作将探索直接在原始观测上进行具身多视角图像编辑、联合生成场景与后续视频，以及扩展上下文长度以支持更长时间的交互生成。

随着模型规模的扩大、数据质量的提升以及对物理规律建模的深化，能够真正在“想象”中模拟世界、并据此规划和行动的通用机器人，或许离我们不再遥远。