这项由阿里巴巴集团AMAP CV Lab完成的研究发表于2026年7月，以arXiv预印本形式公开，编号为arXiv:2607.00678，相关代码已开源于GitHub平台。

机器人能帮人类做家务，这个梦想距离现实究竟还有多远？搬运物品、整理餐具、去冰箱里取东西——这些对人类来说轻而易举的动作，对机器人而言却是难以逾越的挑战。原因不仅在于机械臂的精度，更在于机器人需要同时"走路"和"干活"，这两件事结合在一起，就像要求一个人一边在拥挤的超市里穿行，一边精准地把鸡蛋放进购物篮，全程不能打碎任何东西。

阿里巴巴的研究团队专门针对这个难题，提出了一个名为ABot-M0.5的全新系统。这个系统的核心思路是：让机器人不仅仅"看到当下"，还能"预见未来"，然后基于自己预见到的未来来决定下一步怎么动。这种能主动预见世界变化、再据此行动的系统，研究团队称之为"世界行动模型"（WAM，World Action Model）。

一、机器人为什么又笨又短视——现有技术的三道墙

要理解这项研究的价值，先得弄清楚机器人现在到底卡在哪里。

当前最流行的机器人控制方法叫做"视觉-语言-行动模型"（VLA），可以把它理解为一种"当下反应型"大脑：机器人看一眼当前画面，大脑立刻输出下一步动作，就像一个只看当前路况、完全不思考未来的司机。这种方式在简单、短暂的任务上还算能用，但碰到需要走很长一段路再精准操作的任务，问题就来了——它根本不知道自己的行为会如何改变周围的世界，于是频繁出错。

于是研究者们发明了"世界模型"（World Model），让机器人先想象未来的场景，再据此行动，类似于一个会提前在脑海里"彩排"剧情的演员。但已有的世界模型系统在面对"移动+操作"这种组合任务时，暴露出三个结构性缺陷，研究团队将其称为三道"错位之墙"。

第一道墙是时间粒度错位。现有世界模型预测未来时，往往一次预测好几帧画面打包成一个"视频块"，就像用慢放镜头看一场精密手术——你能看到大致轮廓，但捕捉不到手指在哪一瞬间轻轻按住血管、在哪一刻完成缝合。而机器人真正需要的动作信号却必须精确到每一帧，一旦预测粒度太粗，抓握时机的微妙变化、接触瞬间的力道调整，就全被抹平了。

第二道墙是行动结构错位。走路和操作物体是两种截然不同的"语言"：走路低频、平稳、方向宏观；手臂操作高频、局部、对接触极度敏感。把这两种完全不同的行为塞进同一个神经网络里一起学习，就像要求一个人同时用左手写楷书、右手打鼓，两手互相干扰，最终两件事都做不好。

第三道墙是训练与实战的错位。训练机器人时，研究者会把"正确答案"——也就是真实的未来视频画面——直接喂给模型，让它根据完美的未来图像学习如何行动。但到了真正运行时，根本没有"标准答案"可以参考，机器人只能依靠自己对未来的预测——而这个预测往往包含噪点、模糊、甚至完全错误的细节。于是一个在"考场"里练习过标准答题的模型，到了"实战"中却面对的全是破损的试卷，自然频繁出错。

这三道墙共同构成了移动操作任务中机器人屡屡失败的深层原因，而ABot-M0.5的全部设计，都是为了把这三道墙逐一拆除。

二、拆墙第一招：在视频和动作之间搭一座"翻译桥"

为了解决时间粒度错位的问题，研究团队在视频预测和动作输出之间，加入了一个全新的中间层，叫做"帧级潜在行动"（frame-level latent action），可以把它理解成一种特殊的"动作草稿"。

具体来说，整个信息流动过程分成三步：第一步，模型先预测未来几帧的整体视觉变化，也就是"未来的世界长什么样"；第二步，模型从这段预测视频中，提取出每两帧之间发生了什么细微的视觉变化，把这个变化编码成一个紧凑的"动作草稿"向量；第三步，再把这个动作草稿翻译成机器人真正能执行的关节角度、速度等具体指令。

这种设计的精妙之处在于，动作草稿完全依赖于视觉变化，与机器人的具体结构无关。一台双臂机器人和一台单臂机器人在执行"拿起杯子"这个动作时，视觉上的变化是相似的——杯子从桌面移动到了手边——所以它们的动作草稿也会相似，只是最后翻译成具体指令时才分叉。这意味着在大量没有动作标注的视频数据上预训练的动作草稿知识，可以迁移到各种不同的机器人平台上，大大降低了数据需求。

为了让这套动作草稿体系更加可靠，团队还专门训练了一个叫做ALAM的编码器，让它学习从视频帧对中提取动作草稿。训练这个编码器时加入了两个数学约束：第一个是"可加性"——从A到C的动作草稿，应该等于从A到B再从B到C的动作草稿之和，就像位移的矢量加法；第二个是"可逆性"——从A到B的动作草稿取反，应该等于从B到A的动作草稿，就像往前走一步和往后退一步正好抵消。这两个约束让动作草稿空间具有了良好的数学结构，使得相似的物理操作在这个空间里聚在一起，不同的操作则彼此分离。

三、拆墙第二招：给走路和操作分别配一个专属大脑

第二道墙的解法，是研究团队精心设计的"双层混合变换器架构"（Dual-level Mixture-of-Transformers，D-MoT）。

所谓"混合变换器"，就是在一个大的神经网络里，针对不同类型的任务分配专属的子模块，而这些子模块又共享一个公共的注意力计算层，可以互相交换信息。研究团队在两个层次上都用了这个思路。

第一个层次，是让视频预测、动作草稿预测、具体动作预测这三种本质不同的任务，各自拥有独立的"输入投影层"、"时间步嵌入"和"输出头"，但共享同一个自注意力计算骨干。这就像三位厨师在同一个大厨房里工作——他们共用灶台和刀具，但每人负责自己的菜系，有各自专用的调料柜，不会乱用彼此的食材。

第二个层次，则是在具体动作这个子任务内部，进一步把"移动底盘"的行动和"操控手臂"的行动分离成两个专属子塔。每个子塔有自己独立的前馈神经网络和输出头，但两者仍然共享注意力计算层，让底盘和手臂的动作信息能够互相知晓、相互配合。

为什么这种分离如此重要？因为底盘移动的信号往往是低频的、平滑的大动作，而手臂操作的信号是高频的、精细的微调动作。如果把它们混在一起训练，高频的操作梯度信号会把低频的移动梯度信号淹没，导致机器人要么走路时磕磕绊绊，要么操作时粗手粗脚。分开之后，各司其职，收敛速度更快，最终精度也更高。实验结果显示，加入行动解耦的混合变换器之后，视频预测和动作预测的训练损失都以更快的速度下降，在长距离移动操作任务子集上的成功率从0.34提升到了0.48。

四、拆墙第三招：用"彩排失误版"来训练，才能应对真实世界

第三道墙是最隐蔽、也最难解的：训练时用的是完美的未来画面，部署时面对的是充满噪声的预测画面，这道鸿沟会让机器人在真实运行时频繁失手。

研究团队对比了现有的两种主流做法，发现它们都有各自的缺陷。"教师强制"方法直接用真实未来帧训练，训练与测试的差距最大；"扩散强制"方法让视频和动作在不同噪声程度下一起训练，虽然稍微弥合了一些差距，但训练时的噪声组合方式与测试时的实际推理路径仍然对不上，反而增加了学习复杂度。

研究团队提出的解法叫做"梦境强制"（Dream Forcing）：在训练过程中，先让模型自己生成一段"梦境视频"——也就是模型对未来的预测结果，哪怕这段预测里有些物体位置偏了、画面有点模糊、甚至出现了不该出现的东西——然后拿着这段充满瑕疵的"梦境视频"来训练动作预测部分，让模型学会在面对这种不完美预测时，仍然能推断出正确的行动。

这在直觉上很像给学生"模拟真实考场"的练习方式：考前练习不仅仅在理想环境下做题，还故意在有噪声、有干扰、有错误信息的情况下反复训练，让学生对各种不完美情境都能从容应对。最终上了真正的考场，哪怕题目旁边有一个油渍、灯光有点昏暗，也不会慌乱。

实现这个训练策略时，团队采用了两阶段前向传播的方法：第一阶段，用正常的教师强制方式生成"梦境潜在变量"，也就是模型对未来视频帧和动作草稿的预测结果；第二阶段，把这些带着预测误差的"梦境变量"替换掉之前训练时用的真实未来变量，作为条件信号输入，再训练动作预测部分。这样模型就能在训练中反复经历"用自己的预测指导自己的行动"这个过程，与真实推理时的情境保持一致。

为了让这个两阶段流程在训练时不过于耗时，团队借鉴了"自我强制"方法中的少步去噪技术，用少量扩散步骤快速生成梦境变量，而不需要完整的多步扩散采样，大幅提升了训练效率。

五、三阶段渐进训练：从宽泛的世界认知到精准的行动对齐

整套模型的训练分成三个递进的阶段，每一阶段都在前一阶段的基础上增加新的学习任务。

第一个阶段是世界模型预训练。团队从Wan2.2这个已经在海量互联网视频上训练好的5B参数视频生成模型出发，在大量机器人视频数据上进行全参数微调，让模型学会预测机器人视角下的未来场景。预训练用的数据来自多个公开的机器人数据集，包括OXE、AgiBot-Beta、RoboCOIN、RoboMind、Galaxea以及大型合成数据集InternData-A1等，覆盖了单臂、双臂、移动底盘等各种机器人形态。

为了处理不同机器人使用不同摄像头配置的问题，团队设计了固定的"语义槽"分配策略：前两个摄像头槽位固定给第三人称全局视角，后两个槽位固定给腕部近景视角。摄像头少于四个的数据集用零向量填充空缺槽位，并在注意力计算时屏蔽掉填充部分，确保梯度只从真实的观测数据中传播，不受人工填充的干扰。

第二个阶段是潜在行动模型预训练，也就是专门训练ALAM编码器的阶段。由于动作草稿的提取只需要视频帧对，不需要机器人的动作标注，大量无标注视频都可以用来训练。训练完成后，ALAM编码器被冻结，作为固定的特征提取器使用。

第三个阶段是渐进式监督微调，分成两个子步骤。第一个子步骤（SFT1）用真实的未来帧作为条件信号，联合训练视频预测、动作草稿预测和具体动作预测三个任务，让整个级联系统在目标任务数据上收敛到稳定状态。第二个子步骤（SFT2）启动梦境强制机制，用模型自己生成的预测视频替换真实未来帧，继续微调动作预测部分，完成训练与推理的对齐。

除了这三个阶段，团队还在工程层面做了两个重要优化。一个是高效结构化注意力机制：将整个多流注意力模式拆解为多个密集子问题，用变长FlashAttention核一次性计算，相较于FlexAttention基线方案实现了约5倍的前向-反向传播加速。另一个是偏移量潜在增强技术：预计算视频潜在特征时不固定从第一帧开始切片，而是随机选择0到H-1之间的偏移量，使每段视频可以产生H种不同的切片方式，大幅增加了训练数据的多样性。

六、实验结果：三类任务全面领先，真实机器人也能用

研究团队在四个不同的评测平台上验证了ABot-M0.5的效果，每个平台测试的侧重点都不同。

在主要的移动操作评测台RoboCasa365上，这个平台模拟家庭场景，包含从简单的单步任务到需要多次走动和操作的复合任务，测试机器人能否在真实家庭环境中完成购物、整理、烹饪等日常任务。ABot-M0.5在全量数据预训练设置下取得了40.4%的平均成功率，在原子级别的已见任务上达到了75.9%，在组合级别的已见任务上达到了38.3%，全面超越了此前最好的对比方法Qwen-RobotManip（35.9%平均成功率）。在仅使用目标任务100%数据的精调设置下，ABot-M0.5取得了54.2%的平均成功率，相比此前最优的Lingbot-VA（45.1%）提升了约9个百分点，其中在组合未见任务这一最难的子集上从32.1%跃升至45.6%，提升幅度最为显著。在仅使用10%数据的低资源设置下，ABot-M0.5也以30.1%的成功率大幅领先GR00T-N1.5的21.0%，证明了预训练带来的知识迁移能力。

在双臂操作评测台RoboTwin 2.0上，这个平台测试机器人在干净场景和随机化场景（改变背景、光照、物体位置等）下的泛化能力，ABot-M0.5在清洁场景和随机化场景的平均成功率分别达到94.0%和94.2%，综合平均94.1%，超越了此前最好的Qwen-RobotManip（93.85%）。

在桌面操作评测台LIBERO系列上，ABot-M0.5取得了99.4%的综合成功率，是所有方法中最高的。而在测试零样本泛化鲁棒性的LIBERO-Plus评测中（在标准LIBERO数据上训练，不做任何针对性微调，直接测试在摄像头变化、机器人变化、光照变化等各种扰动下的成功率），ABot-M0.5在WAM类方法中取得了最好的83.4%总体成功率，尤其在机器人形态变化这一项上以87.4%的成功率大幅领先ImageWAM的50.3%。

在真实机器人实验中，团队用一台6自由度单臂机械臂测试了五个任务，每个任务只收集了50条真实示范。精细操作任务"圆柱插孔"的成功率达到70%（π0.5为50%，Fast-WAM为30%），过程分数高达96%。四个长距离多步骤任务（整理盘子、摆放水果、叠杯子、摆放花卉）的成功率分别为70%、80%、80%、60%，而Fast-WAM在这些任务上仅为20%至40%。更值得关注的是，所有任务的过程分数均超过88%，说明即便最终没有成功完成任务，机器人也能顺利推进绝大部分步骤，而不是在中途就完全失控。

七、消融实验：每块积木都不可缺少

为了验证每个设计选择的必要性，团队做了一系列"拆解实验"，逐一移除各个组件，观察性能如何变化。

关于中间动作草稿的设计，四种不同方案的对比结果清楚地显示了架构细节的重要性：直接从视频潜在变量预测动作的基准方案成功率为87.60%；把多视角动作草稿和动作信号在通道维度拼接起来（Channel Concat）的方案成功率为91.06%；把视频、动作草稿、动作作为两个阶段分开但索引共享（2-Stage Separate）的方案成功率为90.86%；最终采用的三阶段完全分离方案（3-Stage Separate，无条件丢弃）成功率达到94.00%，提升非常明显。另外，当三阶段分离方案中加入20%的条件丢弃率时，成功率反而降回91.06%，证明在这套级联推理架构下，训练时随机遮掉动作草稿会造成训练与推理的不一致，反而有害无益。

关于梦境强制的效果，团队从一个50k步预热检查点出发，分别继续用教师强制训练5k步和10k步，以及用梦境强制训练5k步。结果显示，教师强制继续训练5k步后成功率从67.55%微降至66.78%，训练10k步后才恢复到68.90%；而梦境强制仅需5k步，就把成功率推上了70.56%，用一半的计算量获得了明显更好的结果。

关于预训练的重要性，在仅使用10%目标任务数据的低资源设置下，从预训练权重出发微调的成功率为49.0%，而从Wan2.2直接微调的成功率仅为17.8%，差距高达31.2个百分点。文章还通过可视化注意力热图展示了这一差距的内在原因：从Wan2.2直接微调后，模型对文字"杯子"的注意力仍然分散在背景各处；而预训练后再微调，注意力牢牢集中在目标物体和机械臂的交互区域，背景干扰基本消失。

Q&A

Q1：ABot-M0.5里的"梦境强制"训练方法和普通训练方法有什么实质区别？

A：普通的"教师强制"训练是把真实的未来视频画面给模型看，然后教它根据这个完美画面决定怎么动。但实际运行时根本没有真实未来画面，模型只能依靠自己预测的、带有误差的画面做决策，两者之间存在巨大落差。梦境强制的做法是：在训练时就用模型自己对未来的预测画面（而非真实画面）来训练动作决策，让模型提前"习惯"面对自己预测产生的误差和模糊，从而在真实部署时不再因为预测不完美而频繁出错。简单说，就是用"不完美的彩排"代替"完美的彩排"，让上台表演时更从容。

Q2：ABot-M0.5中的"帧级潜在行动"是什么，为什么不直接从视频预测动作？

A：帧级潜在行动是一种中间表示，通过比较前后两帧图像的视觉变化来编码"发生了什么运动意图"，不依赖机器人的具体关节参数。直接从视频预测动作的问题在于，视频预测是粗粒度的、多帧打包的，而动作控制需要逐帧的精细信息，两者粒度差距过大，中间微妙的接触时机、抓握力度等信息会丢失。加入这个中间层后，模型先从视频提取运动草稿，再从草稿翻译成具体指令，层层精化，就像翻译时先理解意思、再组织语言，比直接逐词对照翻译准确得多。

Q3：ABot-M0.5的双层混合变换器架构为什么要把走路和手臂操作分开训练？

A：走路（底盘移动）和手臂操作在物理特性上差异悬殊：走路动作变化缓慢、频率低，手臂操作变化迅速、频率高且对接触极为敏感。如果把这两种信号放在同一个神经网络里用同一个目标函数优化，高频的操作信号产生的梯度往往会主导整个网络，把低频的移动信号的优化方向扰乱，最终两个任务都学不好。分开后各自有独立的前馈层和输出头，但共享注意力计算，使得手臂和底盘的动作信息还能互相感知、协调配合，同时又避免了梯度之间的干扰。