具身智能专题 | Maven Robotics、南加州大学 Z-sight 解读:在 VLM 自身视觉空间里预见未来
写在前面
【从零走向AGI】旨在深入了解通用人工智能(AGI)的发展路径,从最基础的概念起,逐步构建完整的知识体系。
项目地址🔗:https://github.com/AI-mzq/From-Zero-to-AGI.git
【三年面试五年模拟】算法工程师秘籍。AIGC、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、图像处理、元宇宙、AGI、SLAM等AI行业面试笔试经验分享.
项目地址🔗:https://github.com/WeThinkIn/AIGC-Interview-Book.git
AIGC算法岗/开发岗面试面经交流社群(涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源)欢迎大家加入:https://t.zsxq.com/YtJ09
导读
视觉语言动作模型(VLA)通常根据当前画面直接生成动作;基于视频的世界动作模型则先生成未来画面,计算成本更高。一些潜空间方法绕开了像素生成,但仍把未来预测对齐到冻结的外部编码器,使“预见”与策略当下使用的视觉表征分开。Z-sight 让未来预测直接发生在 VLM 自己的视觉 Token 空间里:VLM 编码当前观测,预见专家预测未来空间 Token,动作专家在生成动作时读取这条正在成形的未来流。
训练分三步:先在约 1,977 小时第一视角人类视频上预训练 VLM,再用约 2,750 小时机器人和人形机器人数据做全模型中间训练,最后在目标本体上后训练。论文报告 SIMPLE 仿真成功率 81.9%,六项 Unitree G1 真机任务平均 73.3%;单张 RTX 4090 生成 30 步动作块的中位数为 109.5 ms。
这篇文章按原文顺序拆解原生表征空间、EMA 教师、预见与动作两条专家流、知识隔离和联合去噪,再用匹配对照与测试时干预检验收益来自哪里。需要看清的边界也一并保留:每项真机任务只有 10 次试验,SIMPLE 为单 checkpoint 的三遍评估;速度是单卡进程内测时,不等于端到端部署延迟;未来预测目前只条件于观测,不能比较候选动作的后果。
猫先生认为,Z-sight 的贡献不能只用“把未来预测搬进潜空间”概括。更有价值的是它让预见的表示与策略感知的表示共同演化,并用干预实验区分“动作只是学会忽略辅助分支”与“控制真的读取了当前场景对应的未来”。这比单独展示一个漂亮的预测视频更接近世界模型是否参与决策的核心问题。
- 论文标题:Z-sight: Unifying Vision-Language-Action and Latent World Modeling
- 论文地址:https://arxiv.org/abs/2611.24940
- 项目主页:https://junjieye.com/Z-sight/
原文脉络
论文先比较标准 VLA、视频生成式 WAM 与自身设计的差别,再说明原生视觉空间、因果视频编码器、预见专家和动作专家的组成。训练部分按人类视频、跨本体中间训练和目标本体后训练展开。实验依次回答跨本体表现、未来监督与预测设计的作用、策略是否真的依赖预见内容,以及在线预见能否保持可接受延迟。
1-2. 背景与相关工作:未来预测与当前感知不该住两套表征里
标准 VLA 用 VLM 理解指令和画面,再由动作专家生成连续动作。WAM 通过未来视频提供额外监督,但视频生成器带来较大计算负担。潜空间方法用较紧凑的目标替代像素,却常选择冻结的 DINO 或 V-JEPA 特征作为预测目标;策略感知空间与未来目标空间一旦分离,动作专家就必须学习两套表征之间的映射。
Z-sight 选择让未来目标来自与当前感知同一家族、持续更新的视觉编码器。它沿用 JEPA 类方法的 EMA 教师与 stop-gradient,避免模型通过让目标变简单来降低预测损失,同时用知识隔离阻止未来预测梯度破坏 VLM 的预训练语义。
3. 方法与核心架构:让两条专家流共享同一视觉空间

图 1:论文 Figure 1 对比三条路线。标准 VLA 直接由视觉表征生成动作;视频 WAM 额外生成未来视频;Z-sight 在自身 VLM 的视觉 Token 空间预测未来,并让动作专家读取这条预见流。
3.1 原生表征空间与 EMA 教师
视觉编码器把图像变成 P P P 个空间 Token。一个无参数因果视频编码器在前三帧维度上加入时间注意力,但只把最后一帧的 P P P 个 Token 交给 VLM,因此语言模型看到的 Token 预算仍与单帧输入相当。多相机分别编码,并用视图角色嵌入区分。
未来目标并非来自独立的外部模型,而由在线视觉编码器的指数移动平均教师生成。教师参数按 ϕ ˉ ← μ ϕ ˉ + ( 1 − μ ) ϕ \bar\phi\leftarrow\mu\bar\phi+(1-\mu)\phi ϕˉ←μϕˉ+(1−μ)ϕ 跟踪学生;未来 Token 经过层归一化和停止梯度后才作为监督。这样当前感知与未来目标处在同一表征家族中,又不会因学生直接改写目标而造成表征坍缩。
3.2 预见专家:在 Token 空间做流匹配
未来流由预见专家通过流匹配去噪。输入同时包含带噪未来 Token、当前帧 Token 和位置嵌入;网络以噪声水平 σ \sigma σ 为条件,预测干净的未来 Token。训练目标是预测误差按 max ( σ , σ min ) \max(\sigma,\sigma_{\min}) max(σ,σmin) 加权,避免极低噪声时数值不稳定。
动作专家同样使用条件流匹配,从带噪动作块预测速度场。两者的关键在注意力顺序:VLM 前缀只做因果自注意力,预见专家可读 VLM 前缀并双向查看自身未来 Token,动作专家还能读取预见流。推理时,FAST 动作 Token 被省略,VLM 前缀只编码一次,预见与动作专家沿共享噪声进度联合去噪。

图 2:论文 Figure 2 展示人类视频预训练、机器人数据中间训练和目标本体后训练,以及 VLM、预见专家与动作专家组成的架构。未来 Token 与动作在同一次前向中更新,不需要视频解码器。

图 3:论文 Figure 3 给出注意力方向。VLM 前缀看不到两条专家流;预见专家读取前缀并处理自身;动作专家同时读取当前语义前缀和正在生成的未来 Token,形成单向的信息传递。
3.3 防坍缩与防遗忘:未来目标不能反噬感知
如果未来预测损失直接回传到在线视觉编码器,模型可能把表征压成容易预测却失去语义的形态;也可能为了预测未来而侵蚀 VLM 原有知识。Z-sight 采用两层保护:第一,未来目标经过 EMA 教师和停止梯度;第二,中间训练时完全阻断视角损失进入 VLM,同时让两个专家通过停止梯度读取 VLM 的键值。
VLM 在此期间仍通过离散 FAST 动作 Token 的下一 Token 预测接受动作监督。后训练时,VLM、状态投影和专家都可由动作损失更新,但未来预测损失只训练预见专家,不能反向改写 VLM。EMA 教师继续跟随视觉编码器的变化,因此未来目标在整个适配过程中保持与当前感知同步。
猫先生认为,这组梯度路径是方法成立的前提。共享表征很容易写成一句“都在同一个空间”,但若未来预测能随意改写 VLM,最后得到的可能只是一个容易预测、却丢掉语义的编码器。停止梯度、EMA 与知识隔离共同把“共同演化”限制在了可控范围内。
3.4 三阶段数据与训练
预训练使用 EgoDex 和 EgoVerse 约 1,977 小时第一视角视频。手部轨迹转到当前帧坐标以消除头部运动,置信度低的关键点被掩码,并用有效性加权的时间高斯滤波减少跟踪抖动。这一阶段只训练 VLM 的离散动作 Token 预测。
中间训练加入 AgiBot World 和 Humanoid Everyday 约 2,750 小时数据,总数据约 4,731 小时;机器人数据占主体,并按 20% 采样比例回放人类视频。人形机器人只有关节日志时,用正运动学生成任务空间位姿,空闲片段也会被过滤。目标本体后训练只更新动作流与持续的未来监督。
4. 实验:性能、干预与延迟分别验证了什么
4.1 SIMPLE 与 Unitree G1 上的跨本体表现

图 4:论文 Figure 4 展示 SIMPLE 仿真结果。四种方法在同一套 17 任务数据上适配,Z-sight 在 L0–L2 三档随机化下均领先,L2 仍保持 73.1%,总体平均 81.9%。
SIMPLE 结果来自 12 个遥操作任务、每个难度每任务 10 个回合,对一个 checkpoint 做三次评估。Z-sight 总体 81.9%,比 GR00T N1.7 高 9.6 个百分点、比 Fast-WAM 高 15.9 个百分点、比 Ψ0 高 16.1 个百分点,12 个任务中 11 个达到最高或并列最高。

图 5:论文 Figure 6 报告六项 G1 真机任务,每项 10 次试验。实心柱为整项成功率,浅色柱为阶段进度;Z-sight 平均成功率 73.3%,每项任务均不低于对比基线。
G1 的六项任务覆盖短程抓放与需要全身协调的多阶段移动操作。Z-sight 平均 44/60 次成功,整项成功率 73.3%,阶段进度 81.7%。最强基线 Fast-WAM 为 53.3%,Ψ0、GR00T N1.7 与 π0.5 分别为 40.0%、36.7% 与 26.7%。四项多阶段任务上,Z-sight 平均 72.5%,Fast-WAM 为 50.0%。每项只有 10 次试验,置信区间会较宽;论文报告的是单套实验条件下的结果。
桌面基准上,Z-sight 的 LIBERO 平均 97.70%,RoboTwin 清洁条件 82.4%、随机条件 40.1%。这些成绩支持同一模型能跨单臂、双臂与人形本体适配,但不代表它在所有桌面任务上都超过专用 VLA;论文把重点放在人形全身移动操作。
4.2 因果对照:未来监督和原生目标各贡献多少
从同一个中间训练 checkpoint 出发,去掉视角损失但保留预见分支,SIMPLE Hard 从 73.1% 掉到 25.0%,G1 的 Dog 任务从 90% 掉到 30%,LIBERO 从 97.70% 掉到 74.65%,RoboTwin C2R 从 40.1% 掉到 11.6%。参数与结构保持不变,差别在于是否继续用未来特征监督。
完全删掉预见分支后,SIMPLE Hard 为 68.3%,RoboTwin C2R 为 22.0%,说明结构本身也有价值,但缺少持续未来监督时收益明显缩小。与冻结 DINOv2-B 目标的对照中,显式生成未来流的 26.6% 高于隐式特征对齐的 20.9%;换成共同演化的原生目标后进一步升到 40.1%。这支持“原生目标空间”和“联合生成去噪”的组合,而不是任意潜空间监督都等价。
4.3 测试时干预:动作究竟看不看未来
仅看成功率的消融,无法排除模型把辅助分支当成无害噪声。论文在固定权重下直接改动未来流:在 11,676 个 G1 留出窗口中,预测未来 Token 与真实 EMA 目标的余弦相似度为 0.955,复制当前画面为 0.921;把预测替换成真实未来 Token,还能让动作误差下降 11.9%。
| 固定权重下的未来流干预 | SIMPLE Hard | RoboTwin C2C | RoboTwin C2R |
|---|---|---|---|
| 模型预测,共享噪声进度 | 73.1% | 82.4% | 40.1% |
| 高斯噪声,标记为不确定 | 61.7% | 79.0% | 33.9% |
| 高斯噪声,按共享进度 | 16.7% | 50.5% | 15.3% |
| 换成另一条轨迹的预测 | 11.7% | 7.5% | 4.0% |
| 复制当前帧 | 5.8% | 7.8% | 2.0% |
| 阻断动作读取预见流 | 7.5% | 5.8% | 1.8% |
噪声被明确标记为不可靠时,策略还能退回当前观测;同样的噪声若被当作可信未来,性能就大幅下降。换成另一条轨迹的合法预测,Token 统计和去噪进度都保留,成功率仍跌到 11.7%/7.5%/4.0%。这说明动作专家依赖的是与当前观测一致的未来内容,而非只看预见流是否存在或噪声水平是否匹配。
4.4 联合去噪与推理延迟
在 RTX 4090、480×640 输入、100 次 CUDA 同步计时后取中位数,Z-sight 生成 30 步动作块需要 109.5 ms;π0.5 为 120.5 ms,Ψ0 为 149.7 ms,Fast-WAM 为 155.9 ms。GR00T N1.7 只用四步去噪,为 60.0 ms。这里比较的是模型进程内动作块生成,不能直接外推成包含网络、机器人控制和执行反馈的端到端闭环延迟。
顺序去噪先完成十步未来生成再生成动作,中位延迟为 208.0 ms;SIMPLE Hard 从联合去噪的 73.1% 降到 64.2%,LIBERO 与 RoboTwin 则接近。对需要全身协调的任务,让动作读取正在成形的未来比等待完整未来更有效,同时也避免了顺序推理的额外开销。
5. 讨论、局限与可复现性
预见流目前只条件于观测,不条件于候选动作。它能表示“照当前趋势可能发生什么”,却不能直接比较几个动作各自的后果;因此它具备在线动态先验,还不是可用于反事实规划的动作条件世界模型。
真机结果是六项任务、每项 10 次试验,适合验证设计可行性,不足以估计不同场地、物体和人群条件下的稳定成功率。SIMPLE 也只有每个方法一个 checkpoint,三次评测 pass 的波动不等同于多次训练的方差。表 4 的其他方法来自各自论文或适配协议,计算预算和调参程度需要回到附录核对。
项目页给出更多定性结果与延迟对比,但没有在该页明确列出统一的开源模型与代码下载入口。复现需要自行核对训练数据许可、VLM 底座、各阶段梯度路径、FAST Token 预处理、机器人动作接口及推理缓存实现。
总结:让“预见”成为控制通路的一部分
Z-sight 的核心思想可以收在三点。第一,未来预测目标来自策略自身持续更新的视觉编码器,减少当前感知与未来目标之间的表征断层;第二,预见与动作两条专家流在一次去噪中互相约束,使动作能读取正在成形的场景变化;第三,EMA 教师、停止梯度和知识隔离阻止未来损失破坏语义表征。
实验的价值不仅在 81.9% 与 73.3% 两个主结果,还在能区分机制的干预:删掉未来监督、替换成无关轨迹、阻断预见读取,都会让控制明显退化;标为不确定的噪声则允许策略回退到当前观测。这些证据支持预见内容确实进入动作决策。
距离把它用于真正的行动规划,还差动作条件的未来预测与候选动作比较。现阶段更准确的定位是:一个高效、可联合训练的潜空间世界动作模型,为人形机器人提供了在线未来先验;它还不是能在任意场景里评估多种行动后果的通用模拟器。
推荐阅读
► 技术资讯: 魔方 AI 新视界
► 项目应用:开源视界
► 技术专栏: 多模态大模型最新技术解读专栏 | AI 视频最新技术解读专栏 | 大模型基础入门系列专栏 | 视频内容理解技术专栏 | 从零走向 AGI 系列
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐



所有评论(0)