0. 简介

GE-Act 2.0 面向通用机器人操作，研究一个很具体的问题：当训练数据从数百小时增长到数万小时时，世界模型能否在不针对测试任务微调的条件下，稳定获得更多真实操作能力。它把系统拆成控制表征、未来视觉规划和逆动力学三个部分，再用 KASO 处理预测未来与示范动作之间的模式错位。论文在两种机器人、100 项原子任务和四档联合训练规模上进行零样本分布外评测，G1-OP 的平均成功率由 17.1% 提高到 44.1%，G2-90D 则由 13.4% 提高到 31.1%。这组结果说明扩大操作数据确实带来广泛收益，也同时暴露了成功率、因果归因和长时任务上的清晰边界。

1. 从 VLA 到 WAM：动作前面多了一层可检查的未来

1.1 直接策略的长处与盲区

常见的 视觉-语言-动作模型（Vision-Language-Action Model，VLA） 直接学习从图像、指令和本体状态到动作的映射。这条路线结构紧凑，适合大规模行为克隆，却把任务理解、空间推理和运动生成压进同一个黑箱：当机械臂抓错杯子时，人们很难判断模型究竟没有听懂“左边的蓝杯”，还是理解正确却在接近阶段产生了偏差。动作标签又比互联网图文稀缺得多，直接策略能够吸收的数据类型受到限制，许多只有视频、没有机器人控制量的记录无法进入动作监督。

1.2 世界动作模型的接口价值

世界-动作模型（World-Action Model，WAM） 在感知与动作之间加入对未来的预测。这个设计的实际价值不只在于生成一段看起来合理的视频，而在于未来状态可以充当任务意图的显式接口：视觉规划器回答“目标完成时或即将完成时会看到什么”，动作模型回答“怎样从现在到达那个状态”。只含画面变化的人类视频可以训练前半段，只含观测和动作的机器人轨迹可以训练后半段，完整数据再把两部分对齐。数据入口因此变宽，模块的错误也更容易分开检查。

直觉理解：直接 VLA 像司机只听到目的地后立刻转动方向盘，WAM 则先在导航界面上给出接下来应出现的道路，再由驾驶控制完成转向。中间地图不保证车辆一定到达，但它让“路线想错了”和“方向盘打偏了”成为两类可以分别诊断的问题。

2. 先厘清宣传口径：哪些部分真的从零训练

2.1 论文支持的准确表述

一些二次解读把 GE-Act 2.0 概括为“全部组件随机初始化，只使用具身数据”，这个说法超过了论文证据。论文明确支持的结论是：承担未来生成的 SVP flow generator 与承担动作生成的 IDM 从随机初始化开始，训练时没有继承互联网视频生成器的可训练主干；这使研究者能够较干净地观察操作数据增加后，生成与控制能力怎样变化。它和把一个成熟视频生成模型直接接上动作头的方案有实质区别，也是论文所说“原生 WAM 规模化”的主要含义。

2.2 仍然存在的外部先验

系统并非处在完全没有外部知识的真空里。CoAE 在扩展到 512 通道前，从 128 通道 DC-AE 转移兼容权重，训练时又接受冻结的 SigLIP 2、V-JEPA 2.1 与 DINOv3 特征监督；SVP 的语言与场景理解使用冻结的 Qwen3.5-2B，论文给出的实际参数量为 2.72B。这里要厘清的是，GE-Act 2.0 隔离了预训练视频生成器对可训练规划主干的影响，却仍借助视觉教师和多模态模型提供表征、语义先验。把这个边界写准确，才能知道 Scaling 曲线究竟证明了什么。

3. 零样本 OOD 评测：尽量排除“考前特训”

3.1 零样本在本文中的具体定义

机器人论文里的“零样本”容易产生歧义。GE-Act 2.0 的真机主实验直接使用完成联合训练的 checkpoint，不对 100 项测试任务继续监督微调，不在现场提供示范，也不针对单项任务挑选最有利的 checkpoint。测试所用场景、背景、光照和物体实例都从训练数据中留出，因此这里的 分布外（Out-of-Distribution，OOD） 不是只换一个杯子颜色，而是同时约束四个环境维度。基础技能与机器人本体仍在训练覆盖内，所以它检验的是已有操作能力能否组合并迁移到新条件，而非从未见过任何相关动作的绝对零知识学习。

3.2 为什么这套协议比单次演示更有分量

评测覆盖两种机器人本体、20 类技能和 100 项原子任务，每个任务在每种规模与本体组合下执行 10 次。统一 checkpoint 与统一参数避免为不同任务暗中训练多个专家，四档模型又共享同一组大规模预训练组件和训练配方。这里的关键是把研究对象从“模型能否偶尔完成某个任务”变成“数据扩大后，大量留出任务的成功概率是否整体上升”。这样的设计仍无法控制全部变量，但它比展示几段成功视频严格得多；统计单位、失败次数和测试条件 都能被读者核对，结果才有资格进入 Scaling 讨论。

4. 整体架构：当前画面、预测未来与动作块

4.1 三个模块怎样传递信息

系统接收三个摄像头视角、自然语言指令和机器人本体状态。CoAE 先把每张图编码成紧凑的视觉潜变量；SVP 结合当前多视角潜变量和冻结多模态模型提供的语义条件，一次性生成近未来与较远未来的潜变量序列；IDM 再读取当前潜变量、预测未来和本体状态，输出一段关节位置动作。未来视觉潜变量是整套系统的连接件：它既要表达任务语义，也要保留夹爪、物体、接触关系与运动趋势，否则动作模型即使容量足够，也无法恢复准确控制。

4.2 时间尺度怎样安排

论文采用多时间尺度预测，未来视觉包含 4 帧较密集的近期状态与 2 帧较稀疏的远期状态，动作侧生成 52 个 32 维关节位置向量，对应 30 Hz 下约 1.73 秒。部署时机器人只执行前 30 个动作，随后重新观察、重新预测和重新规划。这样既利用动作块减少每一步都调用大模型的开销，也通过滚动重规划抑制开环误差。三个摄像头提供互补视角，32 维动作则在不同本体之间用零填充形成统一接口，为多本体联合训练提供固定张量形状。

直觉理解：系统像一个每秒都会更新的短程施工计划。SVP 画出接下来几处关键工位，IDM 把这些工位转换为连续手部动作，机器人执行其中一段后重新测量现场。计划给得过短会失去任务方向，整段全部执行又会让早期误差持续累积，所以只执行动作块前部是一种务实折中。

5. CoAE：把一帧画面压成 24 个控制 token

5.1 极端压缩解决什么成本

一张 256×384 图像经过 控制导向自动编码器（Control-Oriented Autoencoder，CoAE） 后，空间尺寸变为 4×6，每个位置含 512 个通道，因此每帧只有 24 个视觉 token，空间下采样倍率达到 64。论文对照中，同分辨率下 DINOv3 需要 384 个 token，CoAE 的序列长度只有其十六分之一。这个差距会反复作用于所有摄像头、所有预测帧和 Transformer 注意力计算；对持续滚动的控制回路而言，节省的不是一次离线生成成本，而是每次重新规划都要支付的固定开销。

5.2 控制导向来自多教师约束

压缩率高并不自动等于适合控制。CoAE 同时接受像素重建、LPIPS 感知一致性、对抗训练以及三个冻结教师的特征对齐：SigLIP 2 提供与语言相关的视觉语义，V-JEPA 2.1 提供时空结构，DINOv3 提供稠密局部特征。下面的式子只用于说明监督组成，其中各权重控制重建质量与教师对齐的比例，论文实现还包含对应的投影头与训练细节。关键设计是让同一个低码率潜空间同时保留物体语义、局部结构和运动线索，而非追求单纯的重建观感。

L C o A E = λ p i x L p i x + λ L P I P S L L P I P S + λ a d v L a d v + ∑ m ∈ { S i g L I P 2 , V - J E P A 2.1 , D I N O v 3 } λ m L a l i g n ( m ) \mathcal{L}_{\mathrm{CoAE}}= \lambda_{\mathrm{pix}}\mathcal{L}_{\mathrm{pix}}+ \lambda_{\mathrm{LPIPS}}\mathcal{L}_{\mathrm{LPIPS}}+ \lambda_{\mathrm{adv}}\mathcal{L}_{\mathrm{adv}}+ \sum_{m\in\{\mathrm{SigLIP2,V\text{-}JEPA2.1,DINOv3}\}} \lambda_m\mathcal{L}_{\mathrm{align}}^{(m)} LCoAE​=λpix​Lpix​+λLPIPS​LLPIPS​+λadv​Ladv​+m∈{SigLIP2,V-JEPA2.1,DINOv3}∑​λm​Lalign(m)​

5.3 探针实验应该怎样读

作者冻结各视觉编码器，在货架整理数据上训练相同容量的两层逆动力学探针，再用 100 条留出轨迹评估动作平均绝对误差，同时测试指令与画面的匹配错误率。CoAE 的动作误差为 0.01673，高于 DINOv3 的 0.01273 和 V-JEPA 2.1 的 0.01487，说明强压缩确实损失了一部分动作可恢复性；它的指令匹配错误率为 2.05%，却是五种表征中最低。换句话说，相同 64 倍压缩的 DC-AE 动作误差达到 0.02573，也说明 CoAE 的结果不能仅由压缩倍率解释。

视觉表征	每帧 token 数	动作 MAE，越低越好	指令匹配错误率，越低越好
CoAE	24	0.01673	2.05%
DC-AE	24	0.02573	2.71%
DINOv3	384	0.01273	2.75%
V-JEPA 2.1	384	0.01487	4.15%
SigLIP	384	0.03138	3.28%

工程价值：可以把视觉 token 理解为随车携带的工具箱。DINOv3 和 V-JEPA 带的工具更多，探针恢复动作更准确；CoAE 只带十六分之一的箱子，却保住了较多控制与语义信息。真正的取舍是每轮规划成本与精细控制误差之间的交换，而不是简单判断哪种表征全面更强。

6. SVP：用一次前向生成完整未来

6.1 多步视频生成为什么不适合控制闭环

扩散式视频生成通常需要多次串行去噪。若动作误差要穿过生成结果反向更新视频模型，训练就必须为整条去噪链保留计算图，显存、吞吐和梯度路径都会迅速变得昂贵。VPP、DreamZero 与 GE-Act 1.0 等工作因而常从生成器的中间特征直接预测动作，部署可以运行，但动作模块与特定生成过程紧密绑定，难以先用大量观测-动作轨迹独立预训练。GE-Act 2.0 的结构突破点是得到完整、可单独读取的未来潜变量，同时让这条接口保持可微。

6.2 MeanFlow 在这里承担的角色

单步视觉规划器（Single-Step Visual Planner，SVP） 基于条件 MeanFlow 学习从高斯噪声到完整未来潜变量序列的平均速度场。传统扩散模型沿许多小步逐渐还原样本，MeanFlow 试图学习跨越整个区间的平均变化，因此推理时一次网络前向便可得到未来。GE-Act 2.0 又把条件扩展到多摄像头当前观测、语言语义以及密集和稀疏两组未来帧。这里无需记住推导公式，只需把握工程结果：完整未来成为稳定张量，IDM 可在 SVP 缺席时先训练，联合阶段的动作梯度也能直接回到 SVP。

6.3 理解模块与生成模块的分工

SVP 使用冻结的 Qwen3.5-2B 处理当前头部视角和指令，向 flow generator 提供多模态条件；真正生成未来视觉潜变量的是 2.51B 参数的 DiT，包括 36 个块、2048 隐藏宽度和 32 个注意力头。冻结理解模块降低了联合训练时语义能力漂移的风险，也意味着论文所谓“从零训练”必须限定在生成与动作主干。进一步看，语言模型不会直接输出关节命令，任务意图必须先体现在预测未来里，这使未来画面是否指向正确目标成为一个可观察的中间诊断信号。

7. IDM 与闭环部署：从画面变化恢复动作

7.1 逆动力学模型学到什么

逆动力学模型（Inverse Dynamics Model，IDM） 的输入包括当前视觉潜变量、未来视觉潜变量和本体状态，输出 52 个连续动作。它关心的是“为了让当前画面变成目标画面，机器人做过什么”，因此预训练不要求每条轨迹都有自然语言，也不要求轨迹最终成功；只要相邻观测、本体状态和动作时间对齐，就能形成监督。IDM 规模为 0.56B 参数，采用 28 个 Transformer 块、1152 隐藏宽度和 16 个注意力头，通过动作流匹配学习连续动作分布。

…详情请参照古月居