写在前面

【从零走向AGI】旨在深入了解通用人工智能(AGI)的发展路径,从最基础的概念起,逐步构建完整的知识体系。
项目地址🔗:https://github.com/AI-mzq/From-Zero-to-AGI.git

【三年面试五年模拟】算法工程师秘籍。AIGC、传统深度学习、自动驾驶、机器学习、计算机视觉、自然语言处理、图像处理、元宇宙、AGI、SLAM等AI行业面试笔试经验分享.
项目地址🔗:https://github.com/WeThinkIn/AIGC-Interview-Book.git

魔方AI空间 | 知乎:猫先生 | 从零走向AGI | 面试面经

AIGC算法岗/开发岗面试面经交流社群(涵盖AI Agent、AIGC图像创作、AI视频、LLM大模型、AI多模态、数字人、传统深度学习、具身智能等AIGC面试干货资源)欢迎大家加入:https://t.zsxq.com/YtJ09

导读

世界—动作模型(World–Action Model, WAM)同时预测未来画面和机器人动作,但视觉重建做得逼真,不保证潜变量保留了抓取、放置和物体状态变化真正需要的空间关系。Phoenix 把视觉表征改造成“场景结构表征”:以 DINOv3 为底座,分别向 VGGT-Ω 学习几何、向 V-JEPA 2.1-L 学习时空语义;再用因果语义 VAE(CS-VAE)把九帧特征压缩成三个保持空间网格的潜变量,与 Wan VAE 的外观潜变量和动作一起做流匹配预测。

表征学习使用约 3.93 万小时第一视角、机器人和 UMI 数据;世界—动作预训练只使用其中的机器人示范。各基准再做专项后训练后,Phoenix 报告 LIBERO-Plus 94.8%、LIBERO-Pro 66.5%、RoboCasa-GR1 82.7%、RoboTwin 2.0 C2R 72.4%、Bench2Dex 45.6% 和 RoboDojo-RealWorld 平均 30.0%。从 25% 到完整预训练数据,RoboTwin C2R 提升 27.0 个百分点,VAE-only 基线提升 11.4 个百分点。

这篇文章按原文顺序解释三项设计、训练流程和四组关键证据,也会把容易被摘要遮住的边界讲清:主结果是各基准专项适配后的成绩;表征消融的 84.4%/88.2% 来自另一组未做 WAM 预训练的对照;缩放结论只覆盖单一 RoboTwin 数据协议;真机 30.0% 仍是较低绝对成功率。

猫先生认为,Phoenix 的核心价值在于把“预测未来的视觉能力”和“对操作有用的场景结构”分开检验。如果只看 94.8% 的排行榜数字,会错过论文更有信息量的部分:表征、压缩、预训练数据量与下游示范效率各自贡献了什么,又有哪些结论只属于当前实验设置。

  • 论文标题:Phoenix: Learning Scene Structure Representations for Generalizable World-Action Models
  • 论文地址:https://arxiv.org/abs/2611.24938
  • 项目主页:https://openphoenix-team.github.io/Phoenix-pages/
  • GitHub:https://github.com/Anyverse-Dynamics/Phoenix-MWA

原文脉络

论文先追问 WAM 的视觉潜变量是否保留操作所需的结构,再提出双教师蒸馏的 Phoenix Encoder、因果压缩的 CS-VAE 和联合预测外观、结构潜变量与动作的 MoT。实验先比较六项基准,再依次检验表征设计、预训练数据缩放、少样本后训练和未来状态预测,最后汇报接触操作与真机后训练分支,并给出结论。

1-2. 背景与相关工作:重建得清楚,不等于操作所需的信息还在

视频生成模型常以像素重建质量衡量潜变量,但机器人要判断物体之间如何接触、机械臂朝哪里移动、状态变化是否合理。论文引用的表征对比工作也指出,重建保真度不能直接决定规划质量,语义潜变量可能更保留动作相关信息。

已有路线一边用预训练视觉特征对齐生成模型,一边直接拿语义特征做潜空间生成。Phoenix 试图把两条路线接起来:底座继承 DINOv3 的通用视觉语义,再蒸馏几何与时序知识;生成端不是只重建外观,而是同时预测场景结构、外观和动作。数据侧则把“扩大规模”和“包含部署所需信息”分开处理。

3. 方法与核心架构:场景结构如何进入世界—动作模型

Phoenix 在六项基准上的结果与模型定位
图 1:论文 Figure 1 汇总六项仿真与真机基准的适配后结果,覆盖扰动鲁棒性、双臂灵巧操作和跨本体配置,图中各基准使用各自的专项后训练设置。

3.1 双教师蒸馏:几何与时空语义分别补什么

Phoenix Encoder 从 VGGT-Ω 中的 DINOv3 ViT-L/16 初始化,再连接两个适配器。几何分支对齐冻结 VGGT-Ω 的多层单帧与跨视角特征,并用教师产生的深度做置信度加权监督,避免额外采集真值深度。时序分支让完整视频输入冻结的 V-JEPA 2.1-L 教师,学生只看跨帧一致遮挡后的画面,在遮挡和可见区域都预测教师特征。

两项训练交替进行,部署与策略训练保留指数移动平均(EMA)后的骨干。这样得到的不是单纯的语义分类特征,而是同时承载相机几何、场景布局和帧间变化的稠密特征。

3.2 CS-VAE:压缩时间,不压扁空间

九帧 Phoenix 特征进入 CS-VAE。每帧先经空间 Transformer,再通过两级因果时间压缩,把九个时间点集中为三个潜变量位置,空间 Patch 网格保持不变。首个潜变量只依赖当前帧,后续位置只聚合此前信息,确保当前观测始终可作为动作生成的条件,未来又不会被未来画面泄漏。

解码器从高斯后验采样重建冻结特征,训练同时使用 MSE、余弦相似度和 KL 正则。压缩降低了高维特征的生成成本;因果结构则让生成端可以联合去噪未来潜变量和动作,而不需要先合成整段视频。

Phoenix 核心架构:双教师编码、CS-VAE 压缩以及视觉与动作专家联合预测
图 2:论文 Figure 2 展示三阶段架构。Phoenix Encoder 从几何和时序教师蒸馏特征;CS-VAE 将九帧特征压成三个潜变量;视觉专家与动作专家通过带非对称掩码的联合注意力,共同预测场景结构、外观和动作。

3.3 外观与结构双潜变量,再由动作专家联合建模

CS-VAE 结构潜变量与 Wan VAE 外观潜变量沿通道拼接,交给视频扩散 Transformer;动作块由动作扩散 Transformer 预测。两层专家的注意力掩码有明确方向:当前视觉 Token 不读取未来或动作,未来视觉 Token 可以读取全部视觉信息但不读取动作,动作 Token 才能读取全部视觉与动作信息。

这样设计使动作看到场景会怎样变化,场景生成又不受动作标签反向污染。当前视觉潜变量保持干净,未来视觉与动作被加噪,两个专家分别回归自己的流场,总损失是 0.5 倍外观损失、0.5 倍结构特征损失与 1 倍动作损失。推理时从噪声共同去噪未来潜变量和动作,不回像素空间。

猫先生认为,这套架构真正有辨识度的地方,是让几何、语义与外观在同一个未来预测目标里各自保留接口,同时坚持“动作能看未来、未来不能看动作”的信息方向。只把三个编码器的特征简单拼起来,无法保证动作监督真正学到场景变化。

3.4 三阶段训练与统一动作接口

原始数据池有 54,413 小时,过滤后保留 39,306 小时;机器人示范、第一视角视频和 UMI 数据分别占 31.09%、63.58% 和 5.33%。编码器蒸馏和 CS-VAE 使用全部过滤数据,WAM 预训练只使用机器人示范。

跨本体训练把状态和动作映射到共享的 80 维接口,每条机械臂用八个别可学习的软提示 Token 与语言、机器人状态一起条件化动作专家。预训练冻结编码器、CS-VAE 与视频 VAE,更新视觉专家、动作专家、状态投影和软提示;后训练继续冻结这些视觉组件,用目标任务机器人示范适配下游。

4. 实验:六项基准、缩放与少样本适配分别证明了什么

4.1 扰动鲁棒性与跨本体结果

LIBERO-Plus 包含相机、机器人初始状态、语言、光照、背景、传感器噪声和物体布局七类扰动,共 10,030 个评测实例。Phoenix 总体成功率 94.8%,比 InternW0-Δ 的 92.8% 高 2.0 个百分点,七类中领先五类;相机扰动上 89.9% 与 Qwen-RobotManip-Context 并列最高,机器人初始状态、语言、光照、噪声和布局上最高。

RoboTwin 2.0 C2R 用 50 个清洁场景任务训练,在随机化环境中做 5,000 次评估。Phoenix 72.4%,比 InternW0-Δ 的 71.9% 高 0.5 个百分点,比 π0.5 的 46.0% 高 26.4 个百分点;50 个任务中有 27 个达到最高或并列最高。其他基准上,LIBERO-Pro 为 66.5%,RoboCasa-GR1 为 82.7%,Bench2Dex 为 45.6%,RoboDojo-RealWorld 平均 30.0%(ARX X5 33.3%、Piper 31.7%、Piper X 25.0%)。

基准Phoenix主要比较对象结果应怎样理解
LIBERO-Plus94.8%InternW0-Δ 92.8%七类扰动平均;领先五类
LIBERO-Pro66.5%专项后训练比较扰动场景仍远低于常规 LIBERO
RoboCasa-GR182.7%双臂灵巧操作比较厨房与关节物体任务
RoboTwin 2.0 C2R72.4%π0.5 46.0%清洁到随机环境的转移
Bench2Dex45.6%GR00T N1.5 28.3%26 个任务—本体设置平均
RoboDojo-RealWorld30.0%OpenWAM-α 24.4%三种真机平均,绝对成绩仍低

4.2 表征消融:分别验证特征、压缩和预训练

表 4 的表征对照都只做下游后训练、未做 WAM 预训练,因此不能直接与 94.8% 的主结果横向比较。固定 PCA48 压缩时,Phoenix Encoder 为 84.4%,DINOv3 为 74.4%,V-JEPA 2.1-L 为 83.2%;固定 Phoenix Encoder 后改用 CS-VAE,从 84.4% 升到 88.2%,七类扰动中六类改善,机器人初始化从 70.2% 升到 90.2%。

这组证据支持“蒸馏特征有用”和“因果生成压缩有用”,但对各教师组件的独立贡献仍需依赖补充材料中的更细拆解。它也不等于 94.8% 的全部收益都来自表征。

4.3 数据缩放与少样本后训练

Phoenix 预训练数据缩放对照
图 3:论文 Figure 3 比较 RoboTwin 2.0 C2R 在不同 WAM 预训练数据比例下的成功率。Phoenix 从 25% 到 100% 数据提升 27.0 个百分点,VAE-only Fast-WAM 基线提升 11.4 个百分点;Phoenix 使用 50% 预训练数据时达到 67.7%,高于基线使用完整数据的 47.7%。

数据缩放实验固定表征设计,只改变 WAM 预训练数据比例。Phoenix 的曲线更陡,说明增加同类机器人示范更有效地转化为策略性能;但实验集中在 RoboTwin C2R 一个基准,不能单独证明所有场景都有相同缩放指数。

后训练使用 25%、50%、75% 和 100% 任务示范,100% 时每个任务有 50 条。LIBERO-Plus 用 25% 数据达到 91.1%,比完整数据的 94.8% 低 3.7 个百分点;50% 达到 94.0%。RoboTwin 上 25% 后训练示范得到 58.6%,超过 VAE-only 基线用完整示范的 47.7%;50% 达到 66.1%。这说明预训练确实减少了任务示范依赖,但少样本仍需要目标基准的机器人示范。

4.4 未来预测与操作收益是否同步

Phoenix 未来视频预测与真实观测对比
图 4:论文 Figure 4 对比未来视频预测与真值。评估在 LIBERO-Plus 与 RoboTwin 2.0 C2R 上按任务和窗口配对,观察预测是否保持物体轮廓、机械臂结构和场景运动。

未来预测评估在每个基准取 200 个窗口,从各自 rollout 中预测未来 8 帧、跨 32 个动作步。RoboTwin 上未做 WAM 预训练时为 PSNR 21.19、LPIPS 0.30;WAM 预训练后升到 26.30、降到 0.16,五项指标均领先 Fast-WAM。预测质量与操作结果同向变化,但这仍属于相关性证据,不能把预测指标当成策略成功的直接替代指标。

5. 讨论、局限与可复现性

Phoenix 的主结果是六次“预训练 + 基准专项后训练”的组合,每条基准使用对应场景和机器人示范;它证明的是可适配基础模型的价值,不是零样本控制。

WAM 预训练仅使用机器人示范,第一视角人类视频和 UMI 数据主要服务于表征阶段。人类视频如何改变动作学习、在哪些任务上比机器人示范更有效,摘要中的“3.9 万小时”不能替代这项分项结论。

真机 RoboDojo 的三种机械臂平均成功率为 30.0%,虽然高于比较对象,但仍有大量失败;Bench2Dex 的 45.6% 也说明灵巧操作远未达到常规桌面任务的水平。对比表中的其他方法采用各自已发表的评测设置,数据来源和适配预算并不完全一致。

公开资源较完整:GitHub 仓库按 main、prometheus、post-train、encoder-pretrain 分支提供预训练、部署与后训练路径,并列出 Phoenix-MWA、Phoenix Encoder 和 CS-VAE 权重。复现仍需核对数据清单、动作坐标配置、硬件环境和各基准后训练分支,不能把仓库存在等同于六项结果均可一键复算。

总结:从“会预测画面”走向“保留可操作的结构”

Phoenix 把世界—动作模型的表征拆成几何、时空语义、外观与动作四个相互约束的对象,再用因果压缩把它们变成可生成、可控制的潜变量。它在 LIBERO-Plus 和 RoboTwin 上展示了对视觉、语言、机器人状态和环境扰动的适配能力,在 Bench2Dex 与真机上检验了跨本体操作。

证据最清楚的部分是设计取舍:结构特征优于纯外观特征,因果生成压缩优于固定 PCA,预训练数据增加带来的收益高于 VAE-only 基线,WAM 预训练让少样本后训练更有效。需要保留的边界是:各基准专项后训练、单一数据缩放协议、真机绝对成功率偏低,以及不同对照方法之间的评测条件差异。

读者可以把 Phoenix 理解为一条工程路线:先把场景的几何与状态变化变成可检查的潜变量,再让动作去学习这些变化怎样发生。它比单纯追求未来视频逼真更贴近机器人控制,但距离在任意场景里稳定完成操作,还需要更多跨站点、跨本体的独立评测。

推荐阅读

► 技术资讯: 魔方 AI 新视界

► 项目应用:开源视界

► 技术专栏: 多模态大模型最新技术解读专栏 | AI 视频最新技术解读专栏 | 大模型基础入门系列专栏 | 视频内容理解技术专栏 | 从零走向 AGI 系列

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐