概述

本文依据截至 2026 年 10 月 28 日的公开资料撰写。Genie 4 的能力与系统协作方式来自官方说明；训练公式、评测设计与工程建议属于对世界模型研究的通用分析。

想象一个场景：你走进房间，把桌上的杯子推到右边，然后转身，再回头。

一个能够支持持续交互的 AI 系统，需要处理一连串问题：杯子移动了多少？它是否会碰到桌边？暂时离开视野后，位置还会不会改变？如果你刚才用力更大，结果又会怎样？

这些问题共同指向世界模型的核心：根据已有观察和采取的行动，预测环境接下来会怎样变化。

2026 年 10 月 27 日，Google DeepMind 公布 Genie 4，展示实时交互式世界生成、原生音频和自然语言场景控制。截至本文写作时，它处于面向受信任测试者的研究预览阶段。1

图 1｜Genie 4 官方页面展示的生成场景。用作文章封面，帮助读者直观理解可交互世界的视觉形态。 来源：Google DeepMind，Genie 4 官方模型页。

Genie 4 为理解这个领域提供了一个直观入口。但要看清它的技术意义，还需要深入三个层面：模型如何表示世界，如何学习变化规律，以及这些预测怎样帮助智能体采取行动。

一、世界模型到底在建模什么？

本文讨论面向决策的学习型世界模型，可以将它理解为：一个从经验中学习环境变化规律，并能预测行动后果的模型。

这里的“世界”取决于任务范围。它可以是一间房、一款游戏、一条生产线，也可以只是几个物体组成的二维环境。世界模型并不要求复刻整个现实世界。

1. 观测通常不能完整反映状态

假设真实环境状态是 (s_t)，智能体能获取的观测是 (o_t)，采取的动作是 (a_t)。

在机器人任务中，状态可能包含物体的位置、速度、接触关系和摩擦系数；摄像头只提供某个视角的图像。两张几乎一样的照片，可能对应不同的运动方向，也可能遗漏镜头外的障碍物。

因此，预测通常需要利用历史：

$$h_t=(o_1,a_1,o_2,a_2,\dots ,a_{t-1},o_t)$$

一个面向动作序列的预测目标可以写为：

$$p_{\theta }(o_{t+1:t+H}\mid h_t,a_{t:t+H-1})$$

它表示：结合已经发生的事情，预测执行某段候选动作后，未来 $(H)$ 步可能出现的观测。

用概率分布描述未来，可以表达预测中的不确定性。这里的条件概率形式本身并不保证因果正确性；模型能否可靠预测干预结果，还取决于数据和验证方式。

2. 学到的状态是对历史的压缩

处理完整历史的成本很高。一类常见设计会把历史压缩成内部表示 (z_t)，再在这个表示上预测：

$$z_t=E_{\varphi }(h_t),{\hat{z}}_{t+1}\sim p_{\theta }(\cdot \mid z_t,a_t)$$

其中，$(z_t)$ 是模型对当前情况的表示，并不等同于真实物理状态 $(s_t)$。它可能编码物体关系，也可能只是难以直接解释的向量。这个简化写法要求表示保留足够的预测信息；如果关键信息在压缩时丢失，模型就需要更强的记忆或额外历史。

如果任务需要显示画面，可以进一步把预测表示解码成图像；如果任务只需要判断“会不会碰撞”或“能否到达目标”，就可以直接使用内部表示进行决策。

2018 年的经典论文《World Models》已经展示了这条路线：用视觉模型压缩观测，用循环模型学习时间变化，再让控制器利用这些表示行动。4

图 2｜根据原图翻译的中文标注版。视觉模型 V 压缩观测，记忆模型 M 维护动态信息，控制器 C 根据两者选择动作。原图中的 z 表示单帧编码，h 表示循环记忆；与正文中表示观测历史的 h_t 记号不同。 来源：Ha 与 Schmidhuber，World Models（2018）；论文 Figure 8。

由此可以得到一个重要判断：世界模型的价值首先取决于它保留了多少与行动有关的信息。画面质量是其中一个维度。

二、世界模型与视频模型、语言模型是什么关系？

视频预测与世界建模共享很多技术，但它们承担的任务可以不同。

在典型的视频生成任务中，模型接收文本或图像条件，生成一段连贯的内容。交互式世界模型还需要在运行过程中接收新动作，让动作持续影响后续状态，并维持过去已经发生的变化。

例如，“生成一个人在房间里走动的视频”和“接收每一步移动指令，让用户探索房间”，对控制接口、记忆和响应时间提出了不同要求。初代 Genie 的研究就把从视频学习逐步可控环境作为核心目标。5

这个领域至少有三种值得区分的研究重点：

研究重点	主要目标	代表性工作
为决策学习动力学	预测行动后果，支持规划或策略训练	PlaNet、Dreamer
生成可交互环境	向用户或智能体提供可持续交互的感官反馈	Genie 系列
学习可预测的抽象表示	在特征空间学习变化，减少对像素重建的依赖	V-JEPA 2，及其动作条件版本 V-JEPA 2-AC

这些方向可以组合。PlaNet 在潜在空间中在线规划，Dreamer 利用模型想象的轨迹学习行为；V-JEPA 2 则先学习视频表示，再通过动作条件的后训练支持机器人规划。68

语言模型也可以参与其中：它可以解释目标、安排子任务、维护高层约束，再调用环境模型推演结果。是否属于世界建模，最终要看系统承担的功能，不能仅凭使用了 Transformer 或语言接口判断。

三、Genie 4 带来的变化：让推理进入交互式模拟

Genie 4 的官方资料提供了两个值得关注的系统设计线索。

1. 同时协调视觉、声音与交互

官方展示了实时场景修改与原生音频生成，包括环境声和交互式对话。1

从建模角度看，这意味着系统要协调多个信息通道。假设一个物体落地，碰撞位置、声音出现的时间和观察者所在位置应当相互一致；角色说话时，语言内容、动作与场景变化也需要配合。

这是对多模态世界模拟的要求。能生成声音提供了新的表达能力，声画是否稳定对应同一事件，则需要另外评测。

2. 在生成过程中持续观察和调整计划

按照官方说明，Genie 4 建立在 Gemini 家族能力之上：Gemini Omni 为真实外观与行为提供基础；在复杂事件模拟中，Gemini 3.8 Flash 作为引导智能体，观察场景、分解步骤、检查进展，并随用户干预调整计划。2

可以把这套协作关系概括为：

图中展示的是根据官方描述整理的交互关系，并非完整的内部网络结构。

从工程角度解读，这是一种把高层任务组织与连续感官生成结合起来的方式。高层系统关注事件是否按步骤推进，生成系统负责把当前条件转化为可感知、可交互的场景。

这种分工也提出了新的问题：高层计划要求的变化是否真的发生？画面中的变化是否符合环境约束？如果生成器偏离了计划，纠正指令是否会破坏已有状态？

闭环提供了发现和修正偏差的机会，但闭环内部的判断仍然需要外部验证。

官方还展示了与 Gemini 4 Argon 协作的实验：将任务分解为步骤，并在生成过程中把这些步骤传递给 Genie 4。3

图 3｜根据原图翻译的中文标注版。官方实验中的规划与模拟对照：左侧是 Gemini 4 Argon 给出的任务步骤，右侧是 Genie 4 生成的机器人模拟画面。该图展示高层步骤如何引导场景生成。 来源：Google DeepMind，Genie 4 官方模型页，Frontier robotics research。

这里还要明确公开信息的边界：本文引用的官方资料披露了上述协作方式，没有给出可据以重建 Genie 4 的完整训练配方。因此，下面讨论的是世界模型的一般方法，不能把前代模型的参数量、训练数据或网络模块直接套到 Genie 4 上。

四、一个世界模型通常怎样训练？

从工程实现看，可以把问题拆成表示学习、动力学学习和动作对应关系三个部分，再通过多步预测检验它们能否协同工作。

1. 表示学习：保留什么，舍弃什么？

原始视频包含大量对当前任务帮助有限的信息，例如背景纹理、光照细节和相机噪声。压缩表示的目的，是降低处理成本，同时保留预测与控制所需的信息。

设想一个推箱子任务：地板纹理可以被适度简化，但箱子边缘、障碍物位置和接触关系不能丢失。否则，重建出的图像可能依然自然，规划器却会误判是否能够通过狭窄通道。

对于需要输出画面的系统，表示通常还要支持视觉重建。对于表征预测路线，训练重点可以直接放在特征空间。V-JEPA 2 就采用联合嵌入预测方法，并在后续的 V-JEPA 2-AC 中引入动作条件，用于机器人规划。6

这两种目标有不同取舍：可视化需要丰富细节，决策需要保留能够区分行动后果的信息。

2. 动力学学习：动作之后会发生什么？

如果数据中包含观测与动作序列，就可以学习动作条件的预测关系。

以能够计算条件似然的模型为例，一个简化目标是：

$${\mathcal{L}}_{\text{pred}}=-{\mathbb{E}}_{\tau \sim \mathcal{D}}\left[\sum _t\log p_{\theta }(o_{t+1}\mid h_t,a_t)\right]$$

其中，$(\mathcal{D})$ 是轨迹数据集。直观上，训练希望模型给真实发生的下一步分配更高概率。

这是教学性的概率目标。实际实现可能使用潜变量的变分目标、离散 token 预测，或扩散模型的去噪训练。例如，Genie 2 官方披露了自回归潜在扩散模型设计。10

“自回归”和“扩散”也不一定互斥：前者可以描述时间上如何逐步生成，后者可以描述每一步内部如何形成输出。

3. 动作学习：视频里没有按键记录怎么办？

互联网视频通常不会记录拍摄者或角色执行了什么控制命令。

初代 Genie 的解决思路是学习潜在动作：训练时根据画面变化推断一个紧凑的动作编码，再让动力学模型结合历史画面和这个编码预测下一帧；使用时，由用户选择潜在动作来控制生成。5

图 4｜根据原图翻译的中文标注版。视频分词器 将帧转换为视频词元，潜动作模型推断帧间的动作编码，两者共同输入动力学模型。此图说明初代 Genie 的已公开方法；Genie 4 的内部实现仍以其自身公开资料为准。 来源：Bruce 等，Genie: Generative Interactive Environments，ICML 2024，Figure 3；预印本对应 Figure 2。

这为利用无动作标注的视频提供了方法，但潜在动作的语义仍需验证。

例如，一个编码可能对应画面向左变化，却未必能直接对应某台机器人的关节位移。要将其用于真实控制，还需要把抽象编码与具体设备的动作空间建立可靠联系。

4. 多步预测：检验模型能否承受自己的误差

单步预测时，模型经常可以看到真实历史；持续模拟时，后续输入可能包含模型自己生成的状态。

这会产生一个困难：一次小偏差成为下一步的条件，随后改变更多预测。箱子位置偏了一点，下一步接触关系可能就变了，再下一步路径也会不同。

因此，较低的单步预测误差，并不保证长时间滚动预测仍然稳定。MBPO 的研究表明，从真实数据状态出发进行较短的模型推演，是控制模型偏差的一种有效思路。9

工程上应当同时检查单步预测和多步滚动表现，并在有条件时用新观测重新校正模型状态。

五、预测如何变成行动？

世界模型提供预测能力。要完成任务，还需要目标、奖励或代价，以及选择动作的机制。

1. 在线规划：行动前比较几个未来

一种方法是在当前状态下生成若干候选动作序列，用世界模型评估后果，再选择预期收益较高的方案。

一个有限时域的简化目标是：

$$a_{t:t+H-1}^{\ast }=\arg \underset{a_{t:t+H-1}}{\max }{\mathbb{E}}_{\hat{p}}\left[\sum _{k=0}^{H-1}{\gamma }^k{\hat{r}}_{t+k+1}\right]$$

这里，$(\hat{p})$ 是学到的环境模型，$({\hat{r}}_{t+k+1})$ 表示执行动作$(a_{t+k})$ 后的预测奖励，$(\gamma )$ 是折扣因子。

实际使用时，可以只执行所选序列的第一个动作，获取新观测后重新规划。这就是模型预测控制（MPC）的基本方式。PlaNet 是利用潜在动力学进行此类在线规划的代表。7

例如，机器人可以先比较“从左边绕行”和“从右边绕行”的预测结果，再移动一小步，并根据新的摄像头画面修正计划。

2. 在想象中训练策略：把预测用于学习

另一种方法是在模型生成的轨迹中训练策略网络，让策略逐渐学会哪些动作更有价值。

Dreamer 采用这条路线：通过想象的未来轨迹训练策略网络（actor）和价值网络（critic），实际交互时由学到的策略选择动作。它与每一步都搜索候选动作序列的 MPC 有不同的计算组织方式。8

图 5｜根据原图翻译的中文标注版。左侧从真实交互学习潜在表示与动力学，右侧从已有经验出发展开想象轨迹，训练 策略网络和价值网络。图中的 h_t 是循环状态，z_t 是随机潜变量。 来源：Hafner 等，Nature 2025，Figure 1；CC BY 4.0 · 许可。

在线规划把较多计算放在决策时；策略学习则把大量计算放在训练阶段。具体选择取决于推理延迟、任务变化速度和可用训练资源。

3. 把世界模型作为外部训练环境

还有一种使用方式：世界模型位于智能体外部，接收它的行动并返回模拟观测，相当于一个可生成的训练环境。Genie 系列的研究就包含这类用途。10

这与智能体在自己内部使用动力学模型进行规划，是两个不同的部署位置。

无论采用哪一种，最终都需要回答同一个问题：模型内表现的提升，能否转化为目标环境中的真实收益？

六、最难的部分：持续一致、可控和可信

Genie 4 官方仍列出了对象持续性、空间准确性、复杂交互和音频准确性等局限，连续交互也仍处于几分钟级别。2

这些限制揭示了世界模型的一组核心难题。

1. 离开视野的对象，还要保留正确状态

用户转身之后，杯子可以暂时看不见，但它的位置与已经发生的移动仍然应当影响后续场景。

这要求系统维护跨时间的状态，而不仅是让相邻画面看起来平滑。对象身份、空间位置、事件历史都可能参与其中。

从工程设计看，可以探索显式对象记忆、空间地图、分层状态或历史检索。但采用什么具体机制，需要看模型设计与实验结果，不能仅凭演示推断。

2. 动作控制和世界编辑，需要明确区分

“向前走一步”与“让面前的门自动打开”，是两种不同操作。

前者要求系统预测既定环境中某个动作的后果；后者直接修改了环境或事件安排。两者都能用于交互体验，但在智能体评测中必须分别记录。

设想系统接收“让机器人成功拿起杯子”，然后生成一段完成抓取的画面。这能够展示目标驱动的场景生成能力。要验证机器人控制能力，还需要输入具体控制动作，检查抓取是否在相应约束下成立。

因此，训练环境应当区分智能体可用的动作接口，以及实验者用于设置场景、改变天气或安排事件的接口。

3. 看起来合理的后果，还需要因果检验

观察到“门打开后有人走进来”，并不能仅凭这段画面确定门为什么打开。

更有价值的测试是：保持初始条件相同，分别执行推门、拉门和不操作，再检查模型是否产生合理且有区别的结果；随后改变门锁状态，检查原来的动作效果是否随之变化。

这类干预测试比单纯观看自然视频，更接近验证模型是否学到了可用于行动的规律。

4. 智能体可能利用模型的漏洞

假设模型错误地允许物体穿过墙壁，优化任务完成率的策略就可能学会“穿墙捷径”。

随着策略越来越擅长模型中的规则，它在目标环境中的表现反而可能恶化。这类利用模型误差的现象在早期《World Models》工作中就已被讨论。4

因此，模型内回报应当与真实环境或可信模拟器中的表现一起评估。任务优化得越充分，越需要检查策略是否在利用模型不准确的部分。

七、如何评估一个世界模型？

下面是一组面向工程实践的评测设计建议，并非某个模型的官方指标。

评测维度	可执行的测试	重点观察
动作响应	固定初始状态，改变动作方向或幅度	后果是否随动作合理变化
状态记忆	移动物体，离开视野，再返回	身份、位置与变化是否保留
长程稳定性	按不同长度持续运行同类任务	错误是否累积，何时影响任务
物理与任务约束	测试碰撞、遮挡、接触和任务规则	是否出现会误导决策的违例
多模态一致性	比较事件、声音与角色行为	时间、来源和语义是否匹配
决策有效性	用模型训练或规划，再到独立环境测试	成功率与样本效率是否改善
交互成本	记录动作输入到有效反馈的延迟	延迟分布、吞吐量与运行成本

对于随机环境，一次输出与某条参考轨迹不同，不一定意味着错误。评测应当考虑多次采样、合理结果的分布，以及关键约束是否得到满足。

对于规划任务，还可以检查模型是否把候选方案排对顺序。假如两条路径都被预测得很漂亮，但模型总把高碰撞风险的路径排在前面，它对决策的帮助就很有限。

预测误差、视觉质量和决策收益需要共同考察。

八、开发者可以从什么地方开始？

学习世界模型，一个可操作的起点是构建可验证的小型闭环。下面是一条实验路线。

第一步，选择有清晰状态和规则的环境。
例如二维推箱子、简单导航或小型机械臂仿真。环境应能输出观测、动作、奖励或目标达成情况，并保留真实状态用于评测。

第二步，收集包含不同策略的轨迹。
除了成功轨迹，也要覆盖失败、碰撞、停顿和不同动作幅度。按完整轨迹、地图或任务划分训练集与测试集，避免相邻帧跨集合造成评估过于乐观。

第三步，先验证动作条件预测。
比较“只看历史”的预测器与“同时接收动作”的预测器，检查加入动作是否真正改善了行动后果预测。再逐步增加滚动长度，记录误差在哪里开始影响任务。

第四步，接入一个简单规划器或策略学习器。
让模型参与实际决策，比较任务成功率、交互样本量和计算成本。模型能够输出连贯轨迹之后，还需要证明这些轨迹对动作选择有帮助。

第五步，根据失败原因决定扩展方向。
如果错误主要来自记忆，就改进状态表示；如果来自动作对应关系，就补充交互数据；如果来自规划利用偏差，就限制推演范围或增加独立验证。画面分辨率、多模态输出和环境规模也应围绕任务需要扩展。

这种实验路径最终要验证的是：在明确的资源约束下，加入世界模型之后，智能体能否以更少的试错做出更好的决策。

结语

Genie 4 展示了实时感官生成与高层推理在交互过程中协同工作的一种具体方式。它为探索环境、组织事件和设计智能体实验提供了新的可能。

世界模型的长期价值，则需要通过持续的行动检验来建立：过去发生的变化能否被记住，不同动作能否产生可靠的后果，模型中的经验能否帮助智能体在目标环境里完成任务。

当预测能够经受这些检验，“在模型里先试一遍”才会成为可靠的计算能力。

参考资料

1. Google，2026：Introducing Genie 4。
2. Google DeepMind，2026：Genie 4: A new generation of world simulation。
3. Google DeepMind：Genie 4 官方模型页。
4. David Ha、Jürgen Schmidhuber，2018：World Models。
5. Jake Bruce 等，2024：Genie: Generative Interactive Environments。
6. Mido Assran 等，2025：V-JEPA 2: Self-Supervised Video Models Enable Understanding, Prediction and Planning。
7. Danijar Hafner 等，2019：Learning Latent Dynamics for Planning from Pixels（PlaNet）。
8. Danijar Hafner 等，2023：Mastering Diverse Domains through World Models（DreamerV3，2024 年修订版）。
9. Michael Janner 等，2019：When to Trust Your Model: Model-Based Policy Optimization。
10. Google DeepMind，2024：Genie 2: A large-scale foundation world model。