看一遍人干活，机器人就会了：WAM-TTT 用测试时训练把人类视频“写进”世界动作模型
无需重定向、无需机器人动作标注、无需微调大模型——部署现场看几段第一视角视频就能学会新任务
论文：WAM-TTT: Steering World-Action Models by Watching Human Play at Test Time
一句话总结：来自北京大学、银河通用、中科院自动化所和清华大学的联合团队提出 WAM-TTT——一种面向世界动作模型（World Action Model, WAM）的测试时训练（Test-Time Training）框架。它不把人类演示视频当作要模仿的轨迹，而是通过自监督视频预测，把部署现场拍到的人类视频“吸收”为一小段轻量级的快权重记忆；预训练大模型全程冻结，机器人却能顺着这份记忆完成全新环境中的操作任务。
一、机器人基础模型的“最后一公里”难题
过去一年，机器人领域掀起了大规模预训练的热潮，行业普遍希望得到一个“通用”的机器人基础模型（Robot Foundation Model, RFM）。但一个尴尬的现实是：绝大多数基础模型把知识固化在参数里，部署之后的行为几乎完全由预训练权重和有限的条件接口（语言指令、目标图像、短观测历史）决定。
这意味着，一旦用户想让机器人换一种做法、处理一类新物体、或者适应自己家里的餐桌和灯光，通常只有两条路：要么再采一批机器人演示数据，要么对整个模型做任务微调。前者成本高昂，后者则容易引发灾难性遗忘，损伤基础模型原本可贵的泛化能力。在开放式的真实部署场景里，用户真正想要的是——不重新训练策略，就能快速告诉机器人“这件事我希望你这么做”。
人类演示视频其实是最自然的“指令”：用户随手演示一遍如何拿杯子、如何收拾桌面，不需要任何机器人动作标注。问题在于怎么用。已有方法大体分三类：
-
联合训练 / 微调
：把人视频和机器人数据混在一起训练，往往还依赖手部姿态、3D 运动、重定向轨迹等额外监督——这些监督噪声大、获取贵；
-
上下文条件化
：把人视频直接作为上下文 token 喂给策略，但这要求预训练阶段就学会这种能力，而且随着演示增多，上下文长度迅速膨胀；
-
显式中间表示
：提取物体光流、潜在计划或生成视频作为桥梁，链路长、环节多。
WAM-TTT 换了一个思路：**视频不是用来“看”的，是用来“存”的。**它把人类演示转化为模型内部一段可调节的记忆参数，在部署时完成吸收，在使用时默默引导——大模型本体一个梯度都不碰。
图 1｜WAM-TTT 总览：来自家庭、超市、办公室等多样环境的无标注人类演示，无需重定向即可直接引导机器人动作；部署阶段人类视频被吸入轻量级 TTT 快权重，预训练动作模型保持冻结（来源：论文 Figure 1）
二、核心思想：把人类视频变成“快权重记忆”
WAM-TTT 的全称已经道出了它的工作方式——在世界动作模型上，于测试时刻通过“看人操作”来完成调控。要理解它的巧妙之处，需要先了解它的底座。
底座：视频与动作“双专家”的世界动作模型
WAM-TTT 构建在 LDA——一个预训练世界动作模型之上。LDA 的每个扩散 Transformer（DiT）块里都有两个相互耦合的专家：视频专家处理视觉潜 token，动作专家处理机器人动作 token，两者通过联合注意力互相通信。这种“视频—动作”联合建模正是关键：既然视觉动态和动作生成共享一套表示，那么只要改变视觉动态的记忆，就能间接而有效地引导动作。
Video TTT 层：只动视频流，不碰动作流
WAM-TTT 不改预训练架构，只在视频专家一侧加挂 TTT 残差分支。对带 TTT 的块，视频流输出变为“原输出 + 残差”，动作流输出保持原样。每个 TTT 层包含一组慢投影（Query/Key/Value/Output 投影）和一个快权重网络：给定上下文 token 构造 Key 和 Value，给定当前视频 token 构造 Query；快权重被各阶段目标更新之后，再作用到视频 Query 上形成残差，注入视频流。
**为什么这个设计很聪明？**测试时的适配完全发生在视频侧——恰好是无动作标注的人类视频天然能够提供监督的模态；动作专家及其预训练动作先验分毫未动，泛化能力得以完整保留。
这段“记忆”为什么在数学上等价于注意力？
论文附录 A 给出了一个漂亮的解释。部署时我们真正想要的，是让机器人 token 通过标准注意力接口去“读取”人类场景 token 的信息。但显式维护一份随人类视频长度增长的 (K, V) 缓存既笨重又难以随梯度步更新。TTT 层换了一个参数化替身：用一个 MLP 来充当“给定 Query 返回最相似 Key 对应的 Value”的检索器，把人类侧信息存进快权重 W 里。
在线性特例下，最小化键—值记忆重建损失有闭式解 W* = VTK(KTK)−1；在标准的线性注意力各向同性假设下，它退化为 Hebbian 外积记忆，用机器人侧 Query 查询时恰好等价于一次无 softmax 的线性注意力读出。换句话说，记忆重建损失不是注意力行为之外的“附属正则项”，在线性情形下它就是该行为的变分定义。实际部署的非线性 MLP 服从同样的训练目标，层内的非线性与归一化扮演了 softmax 核的角色。
三、两阶段流水线：先学会“怎么记”，再在部署现场“真的记”
WAM-TTT 的完整流水线分为元训练（Meta-Training）与测试时训练（Test-Time Training）两个阶段。
图 2｜WAM-TTT 流水线：先用配对的人—机演示元训练快权重记忆，通过键—值记忆重建目标让人类视觉线索与机器人行为对齐；测试时仅用无标注人视频做视频预测来适配记忆，预训练 WAM 全程冻结（来源：论文 Figure 2）
阶段一：人—机配对元训练
元训练阶段使用成对的人—机演示：一段无动作标签的人类视频，配上同步的机器人轨迹。为了让两者对齐，团队做了离线相位同步：对机器人第 t 帧（回合长度 T）计算归一化相位 φ = t/T，再从配对的人视频中选取相位最接近的一帧。
内层循环优化两个来自人类侧的目标：一是标准的人类视频预测损失，二是键—值记忆重建损失——它衡量当前快权重能否从人类 Key 重建出人类 Value，迫使“写入”快权重的过程结构化。外层循环则用配对机器人数据上的标准 WAM 多任务损失（视频扩散目标 + 动作扩散目标，完整继承 LDA 骨干），梯度穿过 TTT 残差与内层快权重更新，回传到 WAM 参数、TTT 慢投影与快权重初始化。每个训练样本用完之后，适配过的快权重即被丢弃，重新从初始化出发——这保证了部署时“即用即学”的能力。
阶段二：部署现场的测试时训练
到了用户家里，流程极为轻量：WAM 参数、TTT 慢投影与初始化全部冻结，输入只是一小批来自目标场景的无动作人视频。模型以视频生成模式运行，仅在与元训练形式完全相同的组合目标（人视频预测 + 键—值记忆重建）上，用内层 SGD 更新视频侧快权重。由于两项损失都只依赖无动作的人类侧数据，整个测试时适配不需要任何机器人侧监督。适配完成后，快权重在机器人执行期间固定，动作由冻结的 WAM 与这份新记忆共同给出。
这套方案的收益是“三免”：免机器人动作采集、免人类侧标注、免任务级微调；同时由于大模型本体不动，基础模型的泛化能力原封不动。
从工程配置看，WAM-TTT 的主干 LDA 采用 Qwen3-VL-4B-Instruct 作为 VLM，搭配 DiT-L 规格的 MMDiT 动作头（16 块、隐藏维度 1536、32 头）；TTT 头维度 48、快权重隐藏宽度 128；内外层各 1 步 SGD（元训练内层学习率 0.1，测试时 0.01），记忆重建损失权重 4×10−2；元训练 10 万步，全局批大小 128，使用 8 张 NVIDIA H800 与 DeepSpeed ZeRO-2。
四、实验：三种机器人、九个任务、真实家庭环境
设置：从标准化隔间到陌生家庭
团队在三种真实机器人本体上评估了 WAM-TTT：宇树 G1 人形机器人（双臂三指灵巧手）、Galbot 双臂二指夹爪版本、Galbot 双臂灵巧手版本（sharpa，单侧 22 自由度）。三个本体共覆盖 9 个操作任务：Transfer Bottle（传递瓶子）、Table Bussing（收拾餐桌）、Deliver Drink（递送饮品）、Swap Place（换位摆放）、Pour Water（倒水）、Stamp Paper（盖章）、Flip Steak（翻牛排）、Pyramid Stacking（金字塔叠杯）、Multi-step Steak（多步骤煎牛排）。
图 3｜实验硬件设置：Galbot G1（二指夹爪）、宇树 G1-Edu（Dex-3 灵巧手）、佩戴 GoPro 的人类演示者、Galbot G1（sharpa 灵巧手）（来源：论文 Figure 3）
元训练数据集包含 2,286 对人—机配对回合：宇树 G1 上 600 对、Galbot 夹爪上 544 对、Galbot sharpa 上 1,142 对。机器人数据在标准化隔间内遥操作采集，配对的人类演示则直接用 GoPro 以第一视角在真实家庭环境中录制，没有任何手部姿态、关节角或运动重定向标注。
评测分两种设定：Orig. 在与训练数据相同的标准化隔间内进行；New 则把机器人部署到从未见过的家庭环境——光照、桌高、被操作物体实例同时改变，构成组合式分布外扰动。指标采用近年 VLA 评测标准的进度分（progress, %）：完整完成任务得 1.0，按预定义子目标完成比例给部分分，每个“任务×设定”格子取 25 次试验平均。
图 4｜人类数据采集：演示者在真实家庭场景中以 GoPro 第一视角录制 9 个任务的演示，无姿态或重定向标注；手部姿态按配对机器人末端执行器自然变化（来源：论文 Figure B.2）
图 5｜机器人数据采集：标准化隔间内的遥操作代表帧，覆盖全部 9 个任务（来源：论文 Figure B.1）
主结果：陌生家庭里平均进度 46.2%，全面领先
对比对象包括五个基线：LDA（无人类数据、无 TTT 分支的预训练骨干）、WAM-COTRAIN（用配对人视频做联合训练，无 TTT）、WAM-ICL（把人视频作为上下文演示，不做快权重适配）、EGOSCALE（基于多样第一视角人类数据放大的 VLA，团队复现版）、π0.5（Physical Intelligence 的开放世界泛化 VLA）。
在最困难的 New 设定（陌生家庭、组合式分布外扰动）下，WAM-TTT 九个任务平均进度 46.2%，而 LDA 骨干为 32.5%（+13.7 个百分点）、WAM-COTRAIN 25.3%（+20.9）、EGOSCALE 15.0%（+31.2）、π0.5 14.8%（+31.4）、WAM-ICL 仅 7.1%（+39.1）。
|
|
|
|
|
|
|
|
|
|
|
|
|---|---|---|---|---|---|---|---|---|---|---|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
表 1｜9 个操作任务在陌生家庭环境（New 设定）下的进度（%），每格为 25 次试验平均
这组数字里有三个值得品味的观察：
-
对 WAM-ICL 的 39.1 个百分点差距是设计假设最有力的证据
：同样的人视频，作为上下文 token 喂进去无法把技能迁移到陌生家庭，而作为快权重记忆“吸收”却可以；
-
对 LDA 的差距量化了人类数据的贡献，对 π0.5 与 EGOSCALE 的差距则量化了测试时适配本身的贡献
；
-
9 个任务中 WAM-TTT 赢下 7 个、在 Flip Steak 上打平；唯一例外是 Stamp Paper（8.3 对 LDA 的 33.3），因为隔间内印章位姿几何约束极紧，家庭场景扰动破坏了人视频中并不显式可见的对齐关系。
图 6｜定性结果：左列为部署时用作 Key/Value 的人类演示，右列为机器人在陌生任务上的执行序列（来源：论文 Figure 4）
补充完整表格（附录 C）还揭示了一个有意思的现象：在 Orig. 设定下 WAM-TTT 以 61.1% 领先，WAM-ICL 尚有 48.4%，但切换到 New 设定后 WAM-ICL 只剩 7.1%——性能保留率仅 15%，平均跌落 41.3 个百分点，说明长上下文条件化在视觉统计发生变化时非常脆弱；而 WAM-TTT 的保留率达 76%，在分布内最强（61.1%）的同时也实现了最有意义的分布外保持。另一个警示是 WAM-COTRAIN：简单把人视频混入多任务损失、却没有显式的人—机对齐机制，反而会把分布内性能拖到无人数据基线之下（Orig. 仅 29.8%）。
消融：三个部件缺一不可
团队在 Table Bussing 与 Swap Place 两个任务上（New 设定，每格 10 次试验）做了协议消融：
|
|
|
|
|
|
|
|---|---|---|---|---|---|
|
|
100.0 |
|
|
|
|
|
|
88.9 |
|
|
|
|
表 2｜协议消融：训练与测试时推理各选择的影响，进度（%）
结果非常清晰：把 TTT 快权重换成通用的 LoRA 低秩适配（WAM-LoRA），两个任务分别掉到 30.0 与 0.0——收益来自 TTT 记忆结构本身，而非任意参数高效适配；去掉人—机元训练，性能几乎归零（9.0 / 0.0），说明部署前必须先学会“人→机”的记忆接口；去掉键—值记忆重建损失同样显著下滑，验证了结构化写入机制的价值。
适配会不会“过拟合”这段视频？
一个自然的担忧是：从一小段人视频做测试时适配，会不会把 WAM 带偏、牺牲预训练泛化能力？团队先做适配，再在改变光照、物体位置与本体相关外观的扰动下测试。在双臂任务 Deliver Drink 上，WAM-TTT 在光照扰动下取得 66.0、空间扰动下 56.0，全面高于 LDA（54.0 / 28.0）、π0.5（28.0 / 0.0）与 WAM-ICL（12.0 / 20.0）。论文据此指出：TTT 机制并非死记演示轨迹，而是在保留基础模型对视觉与空间变化鲁棒性的前提下，提供任务与场景特定的适配。
图 7｜泛化性评估设置：桌面高度、光照与本体相关外观三类扰动（来源：论文 Figure 5）
附录 E 还给出了更丰富的定性画廊：机器人在全新厨房（灶台相对元训练隔间抬高 10 厘米）完成多步骤煎牛排、用新型高脚杯完成传递、在会议室擦黑板、写板书、自由书写字母“L”等，其中数项还超出了主榜 9 任务的范围。
五、局限与未来方向
论文对自身的边界也讲得很坦率，主要提到三点：
-
相位配对假设
：元训练假设配对人视频与机器人回合覆盖相同的技能相位分布，若相位错配，内层适配信号会退化，而损失本身不会给出警示；
-
表达能力上界
：部署时的快权重适配受限于快权重网络的表达力与元训练固定的慢投影，部署任务偏离元训练配对分布越远，适配越弱；论文尚未在实验上刻画这条边界；
-
输入模态单一
：当前部署接口只接受第一视角人类 RGB 帧，尚未利用手部姿态、接触或 3D 场景线索。
展望部分则提出了一个颇具想象力的观点：元训练—测试时 TTT 的接口并不局限于人类 Key/Value——任何具有“可相位配对”训练信号的辅助模态，原则上都能驱动一条并行的快权重分支。作者把 WAM-TTT 视为迈向一种新型基础模型骨干的一步：注意力结构中预留显式的“适配插槽”，下游实践者可以用手头任何侧信息去驱动。
六、结语
WAM-TTT 的贡献可以归结为三点：其一，把“基于人类视频调控世界动作模型”形式化为一个测试时训练问题，实现了仅凭原始人类演示的部署时适配，全程无需机器人动作；其二，提出了即插即用的 TTT 记忆——通过自监督视频预测把人视频吸入冻结的 WAM，并配以人—机对齐目标让记忆真正服务于机器人控制；其三，在覆盖三种本体、九个任务的真机实验中证明，这种方案高效且可复用，显著优于上下文视频条件化，同时避免了额外人侧标注与全模型微调。
更宏观地看，这项工作呼应了近期“把测试时计算引入模型适配”的研究潮流：TTT 层与相关快权重机制把当前序列的信息存入自适应参数，而非依赖固定激活或显式 KV 缓存。当机器人走出实验室、走进千家万户，模型不可能为每一个家庭重新训练一次；让用户“演示一遍、模型记住、立刻会用”，或许正是通用机器人真正落地前必须跨过的那道门槛。WAM-TTT 给出的答案是：大模型不动，小记忆常新。
具身智能&世界模型blog： https://jinxindeep.github.io/blog/blog2026.html
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
9
0- 0
已为社区贡献16条内容
所有评论(0)