26年7月来自黎曼动力的技术论文“Riemann-1.0: An Embodied World Action Model for Physical AI”。

物理人工智能（Physical AI）正推动人工智能从单纯理解数字世界，向感知、推理并作用于物理世界演进。世界动作模型（World Action Models, WAMs）已成为联合建模机器人动作与世界动态的有效范式。然而，现有方法难以有效利用异构具身经验（包括以人为中心的视角视频、手持夹爪演示如 UMI，以及异构机器人轨迹），且缺乏用于联合建模机器人动作、状态及世界演化的统一因果表述。Riemann-1.0，是一个专为具身智能设计的全因果自回归世界动作模型。Riemann-1.0 在统一的因果自回归序列中联合建模多视角视觉观测、机器人状态及特定具身的动作，将机器人动作与世界演化表述为因果状态转移。与基于联合生成、视频优先预测或解耦建模范式的现有 WAM 不同，Riemann-1.0 将在线机器人策略执行与动作条件下的世界仿真统一于单一模型中，使其既能作为可执行的机器人策略，又能作为多具身视觉世界模拟器。为了跨异构数据源扩展具身经验，其进一步开发一种渐进式具身预训练框架，在统一的世界动作建模目标下，整合来自以人为中心的视角视频、手持夹爪演示及异构机器人轨迹的学习过程。基于包含超过 20 万小时交互数据的统一具身数据基础设施，Riemann-1.0 将大规模具身经验渐进式地转化为可执行的机器人操作能力。Riemann-1.0 在仿真基准测试和真实世界操作任务中均取得业界领先的性能。

---

Riemann-1.0 是一种面向具身智能的全因果自回归世界动作模型（如图 1 所示）。该模型将机器人交互建模为涵盖多视角视觉观测、机器人状态及特定具身动作的统一因果自回归序列，其中机器人动作与环境演变均被表述为因果状态转移过程。这种全因果建模方式与现实世界机器人的交互过程自然契合，使得单一模型既能充当可执行的机器人策略，又能作为支持多具身形态、以动作为条件的视觉世界模拟器。

为了有效利用大规模具身经验，进一步提出“渐进式具身预训练”（Progressive Embodied Pretraining）方法。这是一项包含三个阶段的课程学习策略，旨在将具身知识从弱监督形式逐步迁移至可执行的机器人控制能力。该课程遵循从弱监督具身知识学习，到可执行动作对齐，再到特定具身形态策略增强的自然演进路径，实现从大规模具身经验到可执行机器人操作任务的持续能力迁移。具体而言，首先利用冻结参数的潜动作模型（LAM）将大规模无标注的第一人称视角（egocentric）视频转化为潜动作表征，从而为预训练提供可扩展的弱动作监督信号。随后，通过结合人工标注的 3D 第一人称视角视频、手持夹爪演示数据以及异构机器人轨迹数据，将潜动作与不同具身形态下的可执行机器人动作进行逐步对齐。最后，利用高质量机器人轨迹数据对模型进行微调，使其专精于特定具身形态的动作生成及下游机器人策略学习。

大量实验表明，Riemann-1.0 在仿真基准测试及长时程现实世界操作任务中均达到了业界领先水平。该模型在 RoboTwin2.0 (Chen et al., 2025a) 上的成功率为 94.3%，在 LIBERO (Liu et al., 2023) 上为 99.0%，在长时程组合任务基准 RoboCasa-365 (Nasiriany et al., 2026) 上达到 62.6%，较现有最佳方法高出 8.4 个百分点。在长时程的现实世界操作任务中，该方法实现了 85.0% 的成功率（SR）和 94.4% 的进展成功率（PSR），其中成功率比最强的开源基线高出 15 个百分点。这些结果表明，将“全因果世界动作建模”与“渐进式具身预训练”相结合，能有效地将大规模具身经验转化为具有泛化能力的长时程机器人操作能力。

---

扩展“世界动作模型”（World Action Models）在根本上依赖于扩展具身经验，而不仅仅是扩展机器人轨迹。然而，具身经验在本质上是异构的，涵盖以自我为中心的人类视频、手持夹具演示以及机器人轨迹等多种形式。这些数据源在观测模态、动作表征、时间粒度和监督保真度方面存在显著差异，使得统一的大规模预训练面临根本性挑战。

为了应对这一挑战，构建一个统一的具身数据基础设施，能够自动将异构的具身经验转化为通用的动作-级”视频-状态-动作”表征。该基础设施由三个紧密耦合的组件构成：多源具身经验采集、统一具身数据引擎，以及结合多源数据平衡的渐进式监督机制。这些组件协同工作，生成一个可扩展的预训练语料库，其中包含超过 20 万小时、涵盖数千种交互技能的具身经验，为世界动作建模奠定了数据基础。

1. 多源具身经验

构建一个大规模具身经验语料库，包含超过 23 万小时的具身经验，其中包括 20 万小时以自我为中心的人类视频、1.2 万小时手持夹具及可穿戴设备演示，以及 2 万小时异构机器人轨迹。该语料库涵盖了家庭、办公室和工业等多种环境，囊括了数千种交互技能及广泛的机器人形态。

这三种数据源提供互补的监督信号。以自我为中心的人类视频提供最丰富的现实世界交互、以物体为中心的操作技能以及长程任务组合的多样性。手持夹具和可穿戴设备演示提供了结构化的末端执行器轨迹，自然地连接了人类交互与机器人兼容的控制方式。机器人轨迹则为下游策略学习提供了精确的、特定于形态的状态信息以及可直接执行的动作。

这些数据源并非冗余，而是相互补充：人类视频提供可扩展的交互知识，手持夹具演示缩小人类与机器人之间的形态差异，而机器人轨迹则提供了可执行的控制监督信号。它们共同为“渐进式具身预训练”建立了一个自然的监督层次结构。

2. 统一具身数据引擎

如图 2 所示，尽管这三种数据源提供了互补的监督信号，但它们的原始格式却截然不同。以自我为中心的人类视频提供了带有弱语言监督的视觉观测，手持式夹爪演示提供了结构化的末端执行器轨迹和夹爪状态，而机器人数据集在具身特定状态、动作空间、坐标系和控制频率方面存在显著差异。直接合并这些异构数据源会导致监督不一致和优化不稳定。

为了统一异构具身经验，构建一个统一的具身数据引擎，将所有数据转换为通用的动作级轨迹表示，该表示包含语言指令、具身身份、视觉观测、状态、动作和语义元数据。对于每种具身形态，状态和动作流在时间上进行对齐、归一化，并按照具身特定的规范定义进行组织；同时，有效性掩码（validity masks）处理可变维度的动作，而无需强行将异构具身形态纳入共享的物理动作空间。这种统一表示充当异构具身数据与“世界动作建模”（World Action Modeling）目标之间的标准化接口。

针对以自我为中心的人类视频，首先进行视觉归一化，随后应用基于分层视觉-语言模型（VLM）的标注流水线，将长视频片段逐步分解为任务级和动作级片段，并附带结构化语义标注（包括任务、动作、场景、操作对象及时间边界）。在任务级和动作级进行的一致性验证进一步提高了标注的可靠性。为了连接视觉交互与可执行动作，进一步从纯视频形式的自我中心人类数据中重建连续的3D手部轨迹。首先通过手部检测与追踪建立时间上一致的手部轨迹，随后利用基于MANO（Romero et al., 2022）的方法进行3D手部重建，以恢复手部关键点、手腕姿态及MANO参数。与此同时，VGGT-Ω（Wang et al., 2026a）负责估计相机内参和帧级相机姿态，从而使手部轨迹能够在自我中心相机运动下统一于同一坐标系中。轻量级的时间精修步骤进一步抑制了抖动和短期漂移，生成了用于大规模预训练的时间连续手部动作轨迹。

最后，语义一致性、交互完整性、手部动作、可见性和相机运动会被综合评估，以保留高质量的交互片段。与第一人称人类视频不同，手持夹具演示和机器人轨迹已经提供了结构化的控制监督。因此，它们的处理主要集中在时间对齐、动作规范化和轨迹质量过滤。夹具状态的转换被用来优化动作边界，而相机抖动过滤、末端执行器静止排除以及异常控制过滤则进一步提高了数据质量。处理完成后，所有数据源都会被转换成在统一语义分类下的、时间上对齐的动作级视频–状态–动作轨迹，从而实现跨不同实体的可扩展世界动作建模。

3. 渐进式监督与数据平衡

处理后的语料库形成了一个监督连续体，动作保真度逐步提升，而不是简单地分为标注数据和未标注数据。大规模自我视角的人类视频首先通过冻结的潜在动作模型生成的伪动作，提供了广泛的互动动态和弱动作监督。随后，带有重建3D手部轨迹的人类视频、手持抓取演示以及异构机器人轨迹，为视觉-动作对齐提供连续的真实动作监督。最后，高质量的机器人轨迹将模型专门化，用于体现特定动作预测和闭环策略执行。这种监督层级自然对应了Riemann-1.0的三阶段训练课程，使模型能够逐步从开放世界的交互知识过渡到可执行的机器人控制。

原始语料在数据来源、场景、任务、技能、物体和机器人体现方面存在严重的长尾分布。我们没有单纯地平衡原始数据量，而是建立了统一的语义分类体系，并在多个语义维度上执行语义感知采样。这一策略在保持大型人类数据规模优势的同时，确保对长尾操作技能和低资源机器人体现有足够的暴露。

总体来说，数据基础设施将异构体现经验转化为可扩展的世界动作建模监督源，使世界动作模型能够通过扩展体现经验持续改进，而不仅仅依赖于机器人轨迹。

---

1. 初步

WAM 通过联合建模机器人动作及其视觉结果来捕捉机器人与环境的动态。给定任务条件 𝑐、视觉潜变量 𝑧_𝑡、机器人状态 𝑠_𝑡 和动作 𝑎_𝑡，WAM 可以建模控制和观测随时间的耦合演化。

流匹配。流匹配学习一个连续的向量场，将噪声样本传输到数据样本上。这种表述自然适用于世界动作建模，使得视觉潜变量和连续机器人动作可以在统一的速度回归框架下进行优化。

WAM范式的比较。现有的WAM范式主要在于它们如何建模机器人动作与未来视觉观测之间的交互，从而在策略学习、视觉模拟和推理效率之间产生不同的权衡（见图3所示）。

DreamZero 风格方法（Ye，2026b）会同时对视觉潜变量和动作进行去噪。这种方法将动作和视觉生成紧密结合，但需要联合建模不同维度、时间分辨率和优化特性的模态。视频优先方法，比如 LingBot-VA（Li，2026），会先生成未来的观测，然后根据预测的视觉轨迹推断动作，从而引入额外的推理延迟。FastWAM 风格方法（Yuan，2026）则通过使用两个独立的 DiT，将视频和动作生成解耦，提高模块化，同时仍然将动作预测建立在预测的视觉特征上，而不是因果交互历史上。相比之下，Riemann-1.0 采用完全因果的自回归动作-视频方法，其中机器人动作要么在线预测，要么在生成未来视觉潜变量之前外部指定。这种完全因果的形式使得单个模型既可以作为可执行的机器人策略，也可以作为基于动作条件的视觉世界模拟器。

2. Riemann-1.0：全因果的动作-视频世界模型

Riemann-1.0 在动作和视觉潜变量上采用完全因果的自回归分解。如图 4 所示，在每个自回归步骤中，模型会根据之前的视觉观测、机器人状态和动作历史预测当前动作。然后将动作添加到因果上下文中，并用作预测相应视觉潜变量的条件。这一顺序遵循真实机器人中的因果交互过程，即动作先执行，然后才观察到视觉结果。在策略部署时，预测的视觉潜变量会被环境在动作执行后返回的真实观测所替换。在视觉模拟中，预测的视觉潜变量会递归地反馈到模型中，以生成未来的动作条件观测。

机器人的状态 𝑠_𝑡 并不是由模型生成的。相反，它们是直接从环境中观察到的，或者从记录的轨迹中回放，并作为条件信号注入到下一个自回归步骤中。这种分解方式保留因果交互过程：历史观察、机器人状态和先前动作决定下一个机器人的动作，而这个动作反过来又影响下一个视觉过渡。得到的观察结果连同更新后的机器人状态就成为下一个自回归步骤的上下文。相比于 GIGA-World-Policy（Ye，2026a），它从大规模视频生成预训练中继承视觉动态先验，然后再将其适配用于机器人策略学习，Riemann-1.0 在整个渐进式的具身预训练、训练后阶段以及部署过程中，采用相同的完全因果动作-视频公式。在统一的世界动作建模目标下，Riemann-1.0 从预训练开始就联合学习潜在或可执行动作及视觉动态，使其动态先验可以直接由具身动作监督塑形，而不是从通用视频生成目标转移过来。此外，每一个预测或观察到的视觉结果都会递归地纳入因果交互历史，用于后续动作预测，实现长时间闭环交互。这种统一的公式最大限度地减少学习监督与在线执行之间的建模不匹配，让学到的动作-世界动态能够自然地从大规模具身预训练转移到下游机器人策略学习。

视觉预测就是在任务提示 𝑐、初始视觉潜变量 𝑧0 和初始状态 𝑠_0 条件下，联合动作-视频展开的自回归分解。具体来说，Riemann-1.0 根据前面的视觉、状态和动作历史预测动作，并从同样的因果历史和当前动作生成每个未来的视觉潜变量。因此，动作块不仅是策略输出，也是视觉动态模型的条件输入，这是 Riemann-1.0 能作为机器人世界模拟器的关键接口。

输入、提示调控和归一化。语言条件指定任务指令以及机器人形态和摄像头视角配置：

“从具身 {embodiment_type} 录制的视频，显示 {num_views} 个摄像头视角，同时执行任务：{task}。”

语言条件通过 T5 编码器（Colin, 2020）编码，并通过交叉注意注入到 Transformer 中，提供语义任务和形态上下文。还使用数值形态 ID 来选择特定形态的动作/状态投影和预测头，使异构机器人可以共享统一的主干，同时保留形态特定的控制参数化。视觉观测被打包到统一的、特定形态的多视角画布中，调整至模型分辨率，使用 Wan VAE（Wan, 2025）编码为潜表示，并通过 3D 补丁嵌入转换为 Transformer token。第一个潜表示 𝑧_0 作为初始观测上下文，而未来的视觉潜表示 𝑧_1∶𝑇 则自动回归生成。动作和机器人状态被转换为特定形态的规范表示，并使用每个形态的统计数据进行归一化。这种归一化消除坐标系、物理单位和动作维度的差异，同时保留形态特定的控制语义，使异构形态能够共享统一的世界动作建模接口。

特定机器人的状态和动作接口。不同的机器人在动作维度、状态维度、坐标约定和语义布局上都有所不同。因此，Riemann-1.0 共享 Transformer 的骨干网络，同时为每种机器人特化输入和输出接口。对于某个机器人 𝑒，原始的动作和状态向量首先会被转换为该机器人的规范顺序。然后，它们会被填充到固定的模型维度 𝑑_𝑎 ≤ 𝐷_𝑎 和 𝑑_𝑠 ≤ 𝐷_𝑠，其中 𝐷_𝑎 和 𝐷_𝑠 分别表示最大动作和状态维度。原始的机器人 ID 会被映射到一个紧凑的类别槽，该槽索引对应类别的动作和状态线性投影。动作预测头也是按类别特定的。因此，这个模型能在不同机器人之间共享时间和视觉推理，同时保留每种机器人特有的动作和状态空间。

Token序列和时间对齐。对于每个训练样本，Riemann-1.0 会将所有模态序列化成一个单一的 transformer 序列：[上下文潜变量、干净潜变量、噪声潜变量、状态、干净动作、噪声动作]。上下文潜变量对应第一个观察到的帧。干净潜变量和干净动作token在因果掩码下作为教师强制的历史，而噪声潜变量和噪声动作token则是需要去噪的流匹配目标。动作流在时间上比视觉潜变量流更密集。

完全因果的训练目标。每个视觉潜变量总结一小段低级控制步骤，这段长度由 VAE 的时间步长和帧采样率决定。在训练过程中，动作序列会按潜变量分组，因此每个预测出的视觉潜变量都会与对应的机器人动作片段配对。状态序列比潜变量序列多一个元素，即初始状态以及每次潜变量转换后观察到的状态。这种组织方式将训练监督与推理过程中执行的因果展开对齐。

为了匹配在线执行，每次预测都不应访问在推理时不可用的信息。因此，Riemann-1.0 采用结构化注意掩码，而不是不受限制的自注意。干净的 token 会在因果掩码下关注之前观察的干净 token。在局部生成块内，可以使用双向注意来建模块内结构。噪声目标 token 会关注之前的干净 token 以及同一噪声块内的其他 token，但不会关注未来的干净 token。这可以防止来自未来观察的泄漏，同时在已观察的轨迹前缀上保留教师强制。

注意力掩码由三个 token 属性构建：帧 ID、时间 ID，以及干净/噪声标志。如图 5 所示，干净 token 只关注当前或之前时间步的干净 token。噪声 token 会关注之前时间步的干净 token 以及同一帧内的噪声 token。填充 token（包括文本填充 token）会被屏蔽，以确保可变长度序列的稳定训练。、

潜变量与动作流匹配损失。Riemann-1.0 将流匹配目标应用于两个预测头。视觉潜变量头预测噪声潜变量的速度，动作头预测嘈杂动作token的速度，最终目的标在视觉动态和动作预测之间取得平衡。

损失掩码。潜损失和动作损失分别应用不同的有效性掩码。潜掩码排除了填充帧和集数边界处的无效潜帧。动作掩码排除填充动作通道、填充帧和无效的低级动作步骤，损失仅在有效的通道步元素上归一化，而非整个填充张量。这种掩码策略对于多身体训练至关重要，因为不同机器人占据共享填充动作空间的不同子集。

在噪声注入时也应用相同的效度信息。无活缓冲区对干净采样、注入噪声、噪声采样和速度目标保持为零。这避免了训练测试与测试不匹配的情况，即填充信道在训练时包含随机高斯噪声，而在部署时则为零。

自回归在线推断。训练注意掩码自然促进在线自回归推断，KV缓存不断增长。在一集开始时，第一个打包后的多视角帧被编码为z_0，初始状态s_0被嵌入为干净状态tokens。这些tokens与文本嵌入一起初始化缓存。自回归在线推断过程如图6所示。

在去噪步骤t时，模型采样一个高斯噪声作用张量，并利用流调度器对其进行去噪，同时关注缓存的干净历史和文本条件。生成的干净动作块 𝑎_𝑡 会被添加到缓存中，并用于 apf 低级控制步骤的执行。随后，环境会返回与已执行动作和最终状态对应的新多视角观测。然后，这些观测会被打包，编码为 𝑧_𝑡，并与 𝑠_𝑡 一起添加到缓存中，作为下一步的干净上下文。

这一过程要求动作生成先于相应的视觉潜变量更新。在真实机器人执行时，下一个潜变量是通过编码环境返回的实际观测获得的。在仿真过程中，相同的因果上下文连同生成的动作块会输入潜变量头部，预测的视觉潜变量会被解码为模拟的相机观测。对于长时间的滚动预测，缓存会在滑动时间窗口内维护。一旦窗口满了，缓存会被重置，最新的观测会成为新的上下文帧，从而实现持续在线控制，同时保持因果一致性。

---

Riemann-1.0 采用三阶段课程进行训练，逐步将监督从仅视频的伪动作转向真实动作轨迹。设计这个方法的原因是一个实际的数据不平衡问题：仅视频数据量大且视觉多样，但缺少可执行的机器人动作；而真实动作数据集虽然较小，却能直接监督机器人行为。第一阶段使用冻结的潜动作模型（LAM）来训练大规模未标注视频，并进行伪动作监督。第二阶段在混合语料上将模型落地，包括 UMI 演示、机器人轨迹和带有 3D 手部标注的人类视频。第三阶段继续使用高质量的仅机器人数据以增强可执行控制。在所有阶段中，模型都优化相同的动作-视频目标。

该整体的三阶段预训练框架如图7所示：

1. 预训练

阶段一：LAM-动作引导。第一阶段仅使用未标注的人类操作视频。由于这些视频提供了丰富的视觉交互信息，但缺少可执行的动作标签，因此先训练一个潜动作模型（LAM）（Routray, 2025），然后将其冻结作为伪动作标注器。该阶段的目标是让 WAM 在真正的机器人动作标签可用之前，先接触大量的操作动态。LAM 通过在两帧之间的运动强制通过一个紧凑的潜瓶颈来提供这一桥梁，从而使推断得到的潜编码能够捕捉动作会引起的潜视觉变化，并可作为 WAM 训练的伪动作监督。

LAM 被训练为处理相邻视频帧对的潜动作 VAE。给定两帧 (𝑥_𝑡, 𝑥_𝑡+1)，编码器将每帧分割成 16 × 16 的图像块，并在每帧的 token 序列前加上一个可学习的动作提示 token。一个时空 Transformer 处理两帧 token 序列，让未来帧的提示 token 能够关注当前视觉状态和结果视觉变化。未来帧动作提示 token 的隐藏状态被投影为高斯矩（𝜇, log 𝜎^2），定义了一个 32 维潜动作空间的后验分布。通过重新参数化技巧采样潜动作，并注入解码器，解码器接收当前帧的视觉块并重建下一帧。这个架构防止解码器直接看到 𝑥_𝑡+1；为了最小化重建误差，潜在瓶颈必须编码解释 𝑥_𝑡 如何演变为 𝑥_𝑡+1 所需的转移信息。LAM 的目标函数，L_LAM，结合下一帧重建和弱 KL 正则项。KL项故意较弱：其作用是正则化潜分布，同时避免过渡码崩溃成过于泛泛的先验。训练后，使用后验均值μ而非抽样的潜变量作为确定性伪作用，从而消除在注释大型视频语料库时的采样噪声。

在WAM预训练期间，冻结的LAM会密集地覆盖每个视频窗口。对于密集流中每对相邻帧，LAM预测一个伪过渡码。这些代码随后被归类为 λ=0.5平衡学习，并与WAM时间界面对齐的动作块：每个视觉潜表示对应一小块低层级类动作的过渡。同时，同一片段被WanVAE时间采样并编码为视觉潜表示，第一个潜表示作为上下文，其余潜表示作为未来视觉目标。因此，第一阶段以与后续在真实机器人数据中看到的相同结构化输入，即视觉潜表示、状态似token和密集的动作类块，尽管原始视频中没有动作注释。此阶段不用于学习可部署机器人策略;当λ=0.1时，它主要初始化视觉动力学骨干，并教授模型如何将类似动作的运动tokens与未来的视觉变化相关。

第二阶段：轨迹接地对准。第二阶段用混合多具身语料库中的动作轨迹替代伪动作。数据包括UMI演示、机器人轨迹以及带有3D手部姿势和关键点的人类视频。这些来源提供更可靠的动作监督，而仅仅存在于视频数据，同时仍涵盖多样的视角、对象、任务和具身。每个轨迹都转换为相同的WAM时间界面：视觉帧根据实例的摄像机布局打包，调整大小至模型分辨率，并编码为VAE潜帧;动作被分组成密集的块，对应每个视觉潜对象;而状态则由初始状态加上每个潜表示跃迁后的一个状态组成。对于异构机器人，动作矢量和状态矢量被映射到具象特有的典范阶，并用每个具象统计量进行归一化，并填充到模型使用的共享张量格式中。该阶段使用λ=0.5，使动作预测成为中心训练信号，同时保留视觉潜表示预测作为动力学正则化。其目标是将自回归动作视频界面建立在真实轨迹监控基础上，并将共享骨干线对齐于不同的摄像机布局、动作空间和机器人身体。与第一阶段相比，监督不再只是视觉运动的潜在解释;它现在包含了可根据具体化体被解读为末端执行器运动、抓握器指令、关节指令或手势变化的轨迹。这使得行动流在保持从纯视频数据中获得的广泛视觉动态的同时，更加具有政策相关性。

第三阶段：机器人策略增强。最后的预训练阶段仅使用高质量的机器人演示，并有真实的动作状态监督。排除了人体视频数据、LAM伪动作、UMI轨迹和3D手部姿势的人体轨迹。在前一阶段建立了广泛的视觉动态和跨具身轨迹对齐后，这一阶段进一步提升了模型可执行动作的分布能力。将作用权重提高到λ=0.9，因此优化主要关注状态条件作用预测和轨迹一致性，而潜目标则继续正则化所学的动力学。最终模型保留WAM的动作条件视觉预测能力，但其策略动作头更偏向机器人可执行行为。在实际操作中，这一阶段减少广泛预训练数据与下游机器人部署之间的不匹配：模型已经学会动作与观察之间的相互作用，而仅机器人阶段则将这一事先校准，以适应真实执行器惯例、丰富的接触执行和策略稳定性。

2. 后训练

在预训练之后，对 Riemann-1.0 进行后训练，以便在下游任务之前调整其通用操作先验。后训练设置包括真实世界的部署任务和模拟基准。为了进行真实世界评估，收集四个任务的远程操作数据。在有序方块堆叠任务中，机器人需要按指定颜色顺序堆叠四个彩色方块，这测试精确操作和指令执行能力。在折叠衣物任务中，机器人必须操作可变形体，这测试预训练的动力学先验是否能适应非刚性交互。在桌面整理任务中，机器人整理桌面上的纸巾、玩具、充电器、胶带、积木和笔，这需要长时序规划和精细的物体处理。在厨房整理任务中，机器人将勺子、叉子、碗和盘子放到厨房架子上，这测试在杂乱家庭场景中的长时操作能力。对于每个真实世界任务，收集三小时的远程操作演示。没有训练任务专用的单独模型，而是将所有收集的演示数据汇总，共同微调一个能够执行所有任务的通用模型。此外，与预训练阶段相比，在后训练中将动作损失权重提高到 0.95，从而提升动作执行性能。

---

真实世界实验

后训练数据和设置

在大规模预训练之后，进一步通过真实机器人后训练将 Riemann-1.0 适配到现实部署中。在天机 Marvin 双臂机器人上构建四个具有代表性的操作场景：有序积木堆叠、衣物折叠、桌面整理和厨房整理。这些任务涵盖了顺序约束的刚性物体堆叠、可变形体操作、长周期桌面重排和长周期厨房存储，形成一个紧凑但具有挑战性的家庭机器人部署任务组合。通过人工遥控为每个任务收集 15 个示范。
在有序积木堆叠中，机器人按照语言指令识别彩色积木，并按照指定的颜色顺序堆叠成四层。四层堆叠大大增加了难度：底层的小对齐误差会在后续放置中被放大，而单层错位可能会导致整个堆叠不稳定。因此，该任务要求准确的物体颜色和姿态视觉识别、抓取顺序规划以及精确的取放执行。

在衣物折叠中，机器人操作的是可变形的衣物，而不是刚性物体。衣物在接触过程中可能起皱、拉伸和姿态漂移，因此机器人必须根据观察到的状态持续调整操作策略。这个任务重点考验可变形物体感知、双手协调以及精细接触控制能力。

在桌面整理中，机器人必须识别并将多件分散的桌面物体重新摆放到指定位置。一个关键难点是将细长物体如钢笔插入笔筒中，这需要准确感知钢笔姿态和笔筒开口，利用笔筒边缘将钢笔重新调整为垂直姿态，然后通过夹爪控制完成精确插入。

在厨房整理中，机器人必须完成厨房场景下的端到端整理任务。它首先定位并抓取餐具如叉子和勺子，然后将其放回指定存放区域。它还需要抓取黄色和红色盘子并垂直插入晾干架，叠放碗，并将碗叠放在架子的上层，这要求长周期序列操作以及在杂乱环境下进行稳定摆放。

在相同的真实操作环境下，将 Riemann-1.0 与代表性的开源 VLA 和 WAM 基线进行比较，包括 DreamZero、𝜏0-WM、LingBot-VLA、𝜋0.5、LingBot-VA 及 G0.5。对于 DreamZero，用官方开源实现进行复现，在收集的大规模操作数据集上训练一个 5B 规模模型，记为 DreamZero*。

仿真实验

（略）