本质区别

        视频世界模型是在像素空间端到端学习“看起来像”的未来，而3DGS世界模型是在显式3D/物理空间先恢复“结构、几何与物理属性”，再通过渲染得到未来视频。在具身智能数据集场景下，后者更接近可交互的物理仿真，前者更接近大规模视觉先验生成。

关键维度对比

1. 物理一致性与长期预测能力

        基于VIDEO的世界模型

• 通常以扩散、自回归或Transformer直接预测未来帧，训练目标是像素级重建或对抗损失，没有内建牛顿力学、接触约束、动量守恒等物理先验。

• 短期预测往往非常逼真，但多步预测会逐渐漂移，容易出现物体穿透、悬浮、速度/质量关系不合理等违背物理的现象。

• 对“受力物体”这种任务，受力大小、摩擦系数、质量分布等关键量无法被精确建模，只是隐式地“模仿”训练视频中的运动模式。

        基于3DGS的世界模型

• 3DGS本身提供显式3D几何与外观表示，如果再结合刚体/软体模拟器或物理约束，可以让状态演化遵循牛顿力学、接触碰撞、摩擦模型等。

• 物理一致性更强，长期 rollout 更稳定，尤其是刚体桌面操作、抓取、推拉等场景。

• 但前提是物理属性估计必须足够准确。质量、摩擦、弹性、质心等参数如果估计错误，会导致系统偏差；不过这种偏差比像素级漂移更容易诊断和修正。

结论：在物理一致性上，3DGS路线明显更优，尤其适合受力交互场景；视频路线更适合“视觉上可信”的短期预测。

2. 3D几何与视角一致性

        VIDEO世界模型

• 生成在2D像素空间完成，通常缺乏显式3D几何约束，多视角一致性较差。

• 当相机视角变化、遮挡关系复杂或需要任意视角渲染时，容易产生几何错误。

• 对具身智能中的多相机设置、移动机器人视角、抓取时深度感知等需求不够友好。

        3DGS世界模型

• 本质是3D场景表示，天然支持任意视角渲染，几何一致性、遮挡关系、深度信息都能较好地保持。

• 更适合机器人任务，因为机器人需要在3D空间中推理物体位置、姿态、可达性、接触点。

• 可输出深度图、法线图、物体6D位姿等结构化信息，对下游策略非常有用。

结论：3DGS在3D几何、视角一致性与机器人空间推理上优势明显。

3. 数据需求与可扩展性

        VIDEO世界模型

• 可直接从海量互联网视频中学习，数据获取成本相对低，不需要精确物理标注。

• 生成视觉多样性高，能覆盖大量外观、纹理、光照、场景组合。

• 缺点是没有交互力、材质、质量等物理标签，很多视频是“被动观看”，不是主动交互数据。

        3DGS世界模型

• 3DGS重建通常需要多视角覆盖或深度传感器，交互物理属性则需要额外数据，例如力传感器、运动捕捉、材质扫描等。

• 采集成本更高，尤其对大规模数据集成倍增加。

• 不过一旦完成重建和属性估计，可以程序化生成大量反事实交互数据，例如改变质量、摩擦系数、力的大小方向，极大扩展数据多样性。

结论：视频路线在数据规模和扩展性上更占优；3DGS路线在数据标注成本和采集难度上更高，但生成数据的物理可控性更强。

4. 可控性、可解释性与交互闭环

        VIDEO世界模型

• 控制方式通常是文本、图像或动作条件，难以精确指定“摩擦系数增加20%”或“施加5N水平力”这种物理量。

• 可解释性差，内部没有显式的物理状态变量，难以输出物体速度、接触力、位姿轨迹等机器人策略需要的信息。

• 在强化学习或在线策略训练中，很难作为一个稳定的交互式环境使用。

        3DGS世界模型

• 物理属性是显式变量，可以直接编辑和干预。

• 能输出结构化的状态序列，例如物体位置、旋转、速度、接触点、力等，对系统辨识、模型预测控制、策略学习非常关键。

• 更适合构建闭环、可微的交互式仿真环境。

结论：3DGS路线在可控性、可解释性和具身闭环交互方面更适合。

5. 复杂动态与泛化能力

        VIDEO世界模型

• 对复杂非刚体、流体、烟雾、颗粒物、布料等传统物理参数难以描述的物体，视频模型反而可能生成更逼真的视觉结果。

• 泛化到开放世界新场景的能力较强，尤其当训练数据规模足够大时。

• 但这些生成内容不一定满足物理定律，用于训练机器人策略时可能引入错误先验。

        3DGS世界模型

• 目前3DGS在处理拓扑变化、流体、高动态非刚体方面仍比较吃力，动态3DGS还在快速发展中。

• 更适合刚体或准静态操作场景，例如桌面物体推拉、抓取、堆叠等。

• 泛化到全新场景需要重新重建和属性估计，成本较高。

结论：视频模型在视觉多样性和复杂动态上更强；3DGS在受控刚体场景中更可靠。

6. 与具身智能数据集的匹配度

具身智能数据集最终要服务于策略学习，数据通常需要包含：观测（图像/深度）→ 动作 → 下一观测 + 可能的物理状态标签。

• 视频世界模型：适合生成大量视觉演示、数据扩增、视觉预训练，但很难提供精确物理状态标签，且多步交互误差较大。

• 3DGS世界模型：本质上更接近“神经渲染 + 物理仿真”的混合体，可以生成带物理标签的交互轨迹，适合训练强化学习、系统辨识和模型预测控制。

因此，如果目标是构建带物理真实性的机器人操作数据集，3DGS路线更合适；如果目标是快速获取大规模视觉多样性的演示数据，视频路线更高效。

疑问一：对于具身智能数据集来说，视频是必须的吗，还是中间状态的属性也可以

对于具身智能数据集，视频不是绝对必须的，但在绝大多数实际任务中，视频（或图像序列）几乎是不可或缺的；而中间状态属性（如物体位姿、速度、力、质量、摩擦系数等）是极其重要的补充，却不能完全替代视频。

具身智能系统最终要部署在真实世界，而真实世界的感知通常来自相机。因此，视觉观测是智能体与环境交互的主要输入模态。

• 感知与视觉伺服：机器人抓取、插拔、避障等操作往往依赖视觉反馈。如果数据集只有低维状态属性，策略无法学会如何处理真实图像中的遮挡、光照变化、纹理差异、视角变化等。

• 泛化能力：视频提供丰富的高维上下文（物体外观、场景布局、光照、背景干扰），使策略对视觉变化更鲁棒。仅靠状态属性训练的策略很难迁移到视觉复杂的真实场景。

• 表征学习：大量视频数据可以用于预训练视觉编码器、世界模型，学习可迁移的视觉表示，这是当前具身智能的重要方向。

• 人类演示的天然形式：人类操作数据通常以视频记录，包含隐含的意图、接触方式、运动轨迹等，这些信息难以完全用状态属性刻画。

因此，如果目标策略是视觉策略（以图像为输入），视频是必须的。没有视频，策略就无法处理真实世界的感知。

疑问二：两种路线的发展状况如何？

1. Video WM

        即给定当前视觉、语言指令或机器人动作，直接预测未来 RGB 视频。现在通常由视频 Diffusion Transformer、流匹配模型或自回归视频模型完成。

        这条路线内部又应区分：

• 语言条件视频模型：输入“把杯子放到盘子里”，适合生成数据和高层规划，但动作条件较弱，不一定具备因果可控性。
• 轨迹条件视频模型：输入每一时刻的 7-DoF 末端动作或关节动作，像 IRASim、ORV，更接近真正的动作模拟器。
• 视频—动作联合模型：同时生成未来视频和机器人动作，如 VideoVLA、RynnWorld-4D-Policy，逐渐与 VLA 模型合流。

2. 3DGS WM

        这条路线不能简单理解为“3DGS 自己预测物理属性”。3DGS 本质上是三维外观和几何的显式可微表示，不天然包含质量、摩擦、刚度或接触力。实际流程通常是：

        其中“物理属性估计”可能来自：

• 多模态大模型提供材料先验；
• 已观察到的物体运动；
• 机器人主动推、压、抓后的系统辨识；
• 力/力矩和触觉信号；
• 可微物理优化。

 因此，当前文献实际上形成了三条技术谱系：

1. 纯 RGB/latent 视频世界模型；
2. RGB-D、法线、光流、占据场等几何增强的 4D 视频世界模型；
3. 3DGS/粒子/网格与显式物理耦合的数字孪生。

        第二类正在成为第一类和第三类之间的桥梁。

3. 具身数据集的整体发展状态

        真实机器人数据规模已经进入百万轨迹级，但“物理标签”远远没有达到同样规模。

• Open X-Embodiment 汇集了 60 个数据集、22 种机器人形态和 100 万条以上真实轨迹。优势是跨机器人和任务规模，问题是传感器、动作空间和采集质量不统一，力觉/触觉覆盖有限。
• DROID 包含约 7.6 万条演示、350 小时、564 个场景和 86 个任务，突出真实环境多样性和标准化 Franka 平台，但主要仍是视觉、动作和本体状态数据。
• AgiBot World 已达到约 100 万条轨迹、2,976 小时、217 个任务，使用百余台相对统一的机器人采集，在同构硬件规模化方面非常有代表性。
• RH20T 对“受力物体预测”尤其重要：11 万条机器人操作、140 多个任务，包含多视角 RGB-D、100Hz 六维力/力矩、关节力矩、音频，部分配置还有 200Hz 指尖触觉。它比多数通用机器人数据集更适合研究接触动力学，但不同机器人和触觉硬件之间仍存在域差异。

        当前数据格局可以概括为：

• RGB 视频很多；
• 机器人动作相对较少；
• 精确标定的多视角 RGB-D 更少；
• 同步力/力矩和触觉很少；
• 质量、摩擦系数、质心、杨氏模量、泊松比、阻尼等真实物理参数几乎没有大规模标注。

        这正是两种世界模型路线共同面对的根本瓶颈。单看物体外观无法可靠区分“空塑料盒”和“内部装了金属块的塑料盒”，也无法确定桌面摩擦系数。物理属性在很多情况下是不可从 RGB 唯一辨识的，必须通过主动交互或额外传感器消除歧义。

疑问三：相关文献

一、二维 Video World Model：直接预测未来视频

二、3DGS/显式几何世界模型：附着物理、辨识参数并预测未来

三、世界模型评价与机器人闭环基准

四、相关具身数据集论文/项目

这些数据集多数不是专门的“受力物体未来视频数据集”，但构成目前视频世界模型训练的主要数据来源。

目前这两条路线实际已经分化成三层：

1. 纯视频世界模型已经达到“可生成、可辅助策略训练”的程度。
   IRASim、DreamGen、Qwen-RobotWorld 已经能产生动作相关的长视频，DreamGen 也证明了生成视频可以显著提高策略成功率。但面对精密接触、遮挡、长时序和分布外力，视频中的物体运动仍可能只是视觉上合理。

2. RGB+Depth+Flow+Occupancy 的 4D 视频模型正在成为中间路线。
   TesserAct、ORV、RynnWorld-4D 不再只预测像素，而是增加深度、光流、法向和占据。这显著改善多视角一致性和机器人形态保持，但它们通常仍没有显式质量、摩擦和材料模型。

3. 3DGS+物理目前尚未形成统一范式。
   现有方法大致又分为：

   • 人为设定物性后仿真：PhysGaussian、Physically Embodied Gaussian Splatting；
   • 由语义/VLM 给物性先验：GaussianProperty、PhysGS；
   • 从交互视频逆向辨识动力学：PhysTwin、TRACE；
   • 视觉先验+真实交互在线修正：Phys2Real；
   • 直接学习 Gaussian 潜空间动力学：Gaussian World Model。

4. 真正尚未解决的问题是：从少量真实观测中，自动获得具有可辨识性和可迁移性的质量、质心、静/动摩擦、恢复系数、刚度、阻尼等参数，再准确预测任意新外力和接触条件下的未来多视角视频。PhysTwin 和 Phys2Real 最接近这个目标，但目前对象类型、参数维度、交互形式和数据规模仍有限。

对 ContactGaussian-WM 的补充

ContactGaussian-WM的核心可以概括为：

输入“场景视频＋机器人动作”，学习物体的物理规律；之后输入新的动作，预测物体未来的三维状态和二维视频。它本身不是动作生成策略。

不断循环后就得到未来视频。如果没有动作输入，它只能按已有外力和初始速度自由演化，不能预测“某个机器人动作”的结果。

3. 评价指标

仿真实验：

• 训练PSNR：预测图像与训练视频有多相似，越高越好。
• 平均平移误差，单位为米：预测位置与真实位置的差距，越低越好。
• 平均旋转误差，单位为弧度：预测姿态与真实姿态的差距，越低越好。
• 采用开环长时预测：只提供第一帧真实状态，后续全部依靠模型递推。

真实实验没有可靠的三维真值，因此使用：

• 长时预测PSNR；
• 开环轨迹迁移PSNR：比较实际执行画面与模型规划画面。

4. 对比模型

• DreamerV3：纯数据驱动的视频/潜空间世界模型；论文给它使用100条、每条25帧的训练序列，并采用闭环训练。
• PIN-WM：可微物理世界模型，使用LCP接触动力学，但碰撞检测部分不能完整传递梯度。
• CEM＋MuJoCo＋Renderer：用MuJoCo进行物理模拟，使用CEM无梯度搜索物理参数。
• No Optimization：真实实验中的消融基线，不学习物理参数，其余设置相同。

最简流程是：

训练：短接触视频＋已知动作
              ↓
      学习Gaussian几何和物理参数

推理：初始状态＋新动作
              ↓
      预测未来三维运动
              ↓
      渲染成未来二维视频

5. 数据集

ContactGaussian-WM没有使用一个现成的大规模机器人数据集，而是作者针对每个物体和实验场景自己采集/生成数据。数据分成两类：静态三维初始化数据和动态接触数据。

1. 静态三维初始化数据

用于先建立物体的3D Gaussian模型。

仿真物体：

• 使用Blender从72个均匀分布的视角渲染OBJ模型；
• 每个视角包含RGB图像、物体掩码、相机参数；
• 另外提供由网格生成的稠密点云。

真实物体：

• 用手机从多个视角拍摄物体；
• 使用COLMAP估计相机位姿；
• 使用物体掩码和Visual Hull生成稠密点云；
• 最终初始化物体的球形Gaussian外观和碰撞几何。

这部分数据只负责回答“物体长什么样、几何形状是什么”，不负责学习物体如何运动。

2. 仿真动态数据集

使用MuJoCo自行生成，包括两个场景：

• Push-slide-settle：虚拟机械手推动物体，物体滑动并停止；
• Fall-and-rebound：物体自由下落、碰撞地面并反弹。

物体包括：

• Camera；
• Stanford Bunny；
• Piggy Bank；
• Binoculars；
• Rubber Duck。

每段动态数据大致包含：

具体来说：

• 固定相机拍摄RGB视频；
• 相机内参和外参；
• 物体初始位置、姿态和速度；
• 机械手末端运动轨迹及末端速度；
• 物体真实位置和姿态轨迹，用于实验评价。

ContactGaussian-WM、PIN-WM和CEM基线使用同一段15帧训练数据。DreamerV3则使用100条轨迹，每条25帧。

测试集与训练集不同：

• 下落任务改变物体的初始位置和姿态；
• 推动任务改变机械手末端速度；
• 测试序列比训练的15帧更长，用于验证长时间开环预测。

论文没有报告测试轨迹的准确总数量。

3. 真实动态数据集

真实场景包括：

• 物体自由下落；
• LEAP Hand推动、滑动和翻转物体；
• 地面材料包括橡胶、PVC和木材；
• 使用RealSense D456 RGB-D相机拍摄；
• 训练集与测试集按照 1:4 划分。

训练数据包含：

• RGB图像；
• 相机参数；
• 物体初始位置和姿态；
• 物体初始速度；
• LEAP Hand实验还包括手的初始关节状态、目标关节状态和关节运动速度指令。

其中，自由下落实验的初始速度通过前三帧图像估计。

“已执行的动作/控制序列”究竟是什么？

在这篇论文的实际实验中，主要是速度或位置控制指令，不是直接输入接触力。

具体分为：

• 推动实验：输入虚拟机械手的末端速度和运动轨迹；
• LEAP Hand实验：输入目标关节位置，同时限制/指定关节运动速度，即“类似速度控制的位置控制”；
• 自由下落实验：没有机器人动作，主要输入物体初始状态，之后由重力和碰撞决定运动。

关节位置/速度指令
        ↓
机械手运动并接触物体
        ↓
模型计算碰撞位置和接触力
        ↓
预测物体的位置、姿态和速度

所以最准确的说法是：

数据集提供的是机器人运动控制命令；机器人与物体之间具体产生多大的接触力，是ContactGaussian-WM通过接触动力学模型计算出来的，并不是数据集直接提供的力传感器标签。

此外，仿真中的物体真实轨迹主要用于评价。模型训练的核心监督仍然是“预测图像与真实RGB视频之间的误差”，并不是直接用真实三维轨迹监督物理参数。