机器人世界模型的两套时钟:3 个数字的慢状态,为什么第 40 步还能低 22% 到 42%
机械臂伸向一个没见过的盒子,抓住、抬起。抓之前它以为盒子是空的,抓之后负载突然多了 2.4 公斤,关节摩擦也跟着变了。对人来说这只是手上突然一沉,对世界模型来说这是动力学被换掉了:同样一组关节指令,下一个状态不再服从它熟悉的规律。
麻烦在于,世界模型做规划时是开环滚动的。它一次预测未来 40 步,第 1 步的预测会被当成第 2 步的输入,第 2 步的预测又喂给第 3 步。只要变化发生的那一刻没被修正,误差就会沿着这 40 步滚下去,最后把规划器引向一组根本不成立的动作。
这篇论文要解决的就是这件事。作者把需求拆成三条:响应性,变化一发生就要动;稳定性,不能把一次瞬时碰撞当成永久变化;持久性,开环滚动里没有新观测,已经学到的变化不能在后面几十步里衰减回去。三条同时满足很难,因为调快响应就容易误判扰动,调慢遗忘就容易在变化后迟钝。
AFTER-WM 的做法是把每个预测误差同时写进两个状态:一个立刻动作、随后衰减的快状态,和一个缓慢累积、持续保留的慢状态,再用一个路由记忆调整三个预训练专家的组合权重。整个过程在测试时不做梯度更新,只改在线记忆。代价和收益都很具体:模型约 0.70M 参数,在五个仿真数据集上多步平均误差比最强基线低 16.4% 到 33.7%,第 40 步误差低 21.9% 到 41.9%;受限之处是慢状态只有 3 个数字,而且第 1 步仍然可能输给一个纯靠循环状态的基线。
一分钟速览
先把账算清
- 问题:机器人抓取未知负载、关节失效、发动机故障这类变化,发生得突然、持续存在、而且一开始不可见;世界模型的预测误差会在 40 步开环滚动里累积。
- 三条要求:响应性、稳定性、持久性。已有方法通常只在一个时间尺度上自适应,调快和调稳是一对矛盾。
- 做法:三个预训练专家冻结,预测误差在线写进每个专家的快状态
F_k(32 维,衰减因子 0.8)和慢状态c_k(3 维),再写进路由记忆q(3 个数)。 - 快慢分工:快修正负责变化后的前几步,慢修正负责第 40 步;路由记忆在第 2 到 5 步内把权重从旧专家挪到新专家。
- 训练:第一阶段预训练专家与路由,第二阶段只训练记忆网络,16000 次更新,约 0.25M 到 0.27M 可训练参数。
- 结果:五个仿真数据集上多步平均误差全部最低,领先 16.4% 到 33.7%,5 个种子全胜;第 40 步领先 21.9% 到 41.9%。
- 变化刚发生:变化后 1 到 4 步的窗口上至少低 15.6%;完全没有变化的窗口上低 6.6% 到 28.7%。
- 控制:在 JSHC 关节失效任务上,用同一个 CEM 规划器,平均回报 93.1,比第二名 MOLe 高 13.8。
- 代价:慢状态是 3 维瓶颈,评测只到 40 步、只有状态观测;作者没有给墙钟时间或 FLOPs。
它不解决什么
这不是一个从图像学动力学的模型。论文所有实验都在状态空间做,输入是关节角、关节速度这类低维状态,不是像素。它也不试图处理高维、不可参数化的变化,比如接触几何、柔性形变;慢状态只有 3 个数字,能装下的就是负载、摩擦、电机强度这类低维物理参数。
它更不是“一次训练、终身适应”。每个测试窗口开始前,快慢状态和路由记忆都会重置,模型从这 64 步上下文里重新推断变化。这意味着它擅长“看到一个变化后把接下来 40 步预测对”,而不是“在连续运行几小时的机器人上一直累积经验”。
变化发生的那一刻,世界模型欠下三笔账
开环滚动把一次误差放大成四十步
论文把问题写成:状态 z_t 加上动作 a_t 预测下一状态 z_{t+1},但真实的转移还依赖物理参数 θ_t,比如负载、摩擦、电机强度,而世界模型从来看不到 θ_t。变化发生时,θ_t 跳到一个新的、持续的值,只有最近的转移里才藏着线索。
给定最后 C=64 步上下文和未来 H=40 步动作,模型要一次吐出 40 个状态。这就是开环:中间没有新观测来纠偏。于是变化后的第一个误差会变成第二个误差的输入,40 步之后误差已经被放大过很多轮。对规划器来说,这不是“某一帧不准”,而是整条候选动作序列的代价都算错了。
响应性、稳定性、持久性,三者互相拉扯
作者把三条要求写得很清楚,而且它们确实互相冲突:
- 响应性:变化是突然的,误差一开始累积就要立刻压住,否则 40 步滚动会把错误放大。
- 稳定性:瞬时扰动同样突然,一开始很难和持久变化区分;如果把碰撞当成永久变化写进模型,扰动过去后预测反而更差。
- 持久性:变化是持续的,但开环滚动里没有新观测;如果适应会衰减,后面几十步又会退回旧动力学。
这三条对应一个很朴素的跷跷板:自适应越快,越容易被一次瞬时扰动带偏;遗忘越快,越能在扰动后恢复,但也越难把持久变化留到第 40 步。已有方法大多只在一个时间尺度上做适应,步长、历史长度、检测阈值、滤波器噪声、反馈增益,总有一个参数在决定它站在跷跷板的哪一端。
| 要求 | 不满足时的表现与对应设计 |
|---|---|
| 响应 | 前几步误差被滚动放大;误差一到,快修正立刻动作 |
| 稳定 | 扰动被当成永久变化;快状态衰减、慢状态按增益写入 |
| 持久 | 滚动后段退回旧动力学;慢状态与路由记忆冻结 |
已有方法各站在跷跷板的一端
论文把相关工作分成三类,这个分类也解释了后面的基线选择:
- 通用世界模型:TD-MPC2、DreamerV3 的 RSSM、PETS 这类,擅长规划或策略学习,但没有专门的动力学自适应;变化后多步预测会变差。
- 在线自适应世界模型:GrBAL、MOLe 用梯度步更新参数,ReBAL、CaDM、HiP-RSSM 把近期历史编码成上下文变量,MBCD、GPMM 先检测变化再切换模型,还有一类只在线拟合最后一层线性层。它们各自只在一个时间尺度上适应。
- 多时间尺度世界模型:Clockwork VAE 让高层更新更慢,THICK 只偶尔更新部分状态,MTS3 每步更新快变量、但慢变量只在固定间隔从观测窗口推断。MTS3 的问题很具体:变化后要等到下一次推断,这期间多步预测还走在旧动力学上。
AFTER-WM 的切入点就在这第三条的“固定间隔”上:它不等固定间隔,而是让每一个预测误差立刻进入慢状态。但为了避免把扰动也写进去,它给误差配了一个卡尔曼式的增益,噪声大的误差写得少。

图 1|左为大脑预测编码的三条特征与 AFTER-WM 的对应设计,右为各变化阶段相对最强基线的误差降幅。
把预测编码拆成三个可训练部件
底座:三个专家加一个路由,先冻结
AFTER-WM 的底座是一个混合专家模型:K=3 个专家,每个专家 G^0_k 是一个 MLP,预测状态增量,也就是 z_{t+1} ≈ z_t + G^0_k(z_t, a_t);一个路由 R 给专家打分。专家和路由在第一阶段用短片段预训练,之后参数就冻住,测试时不再改。
这个选择很关键。很多在线自适应方法会在测试时更新参数,噪声也会被写进权重;AFTER-WM 只让在线记忆变化,专家本身不动。论文的说法是“误差可以重新给专家加权,但永远不会改专家”,这样一次瞬时扰动最多影响权重和修正量,不会污染底座。
快状态:32 维,记住这一下然后忘掉
每个专家配一个快状态 F_k ∈ R^{32},以及一个把状态变成修正量的读出网络 G^F_k。修正量的定义保证零状态给零修正:Δ^F_k = G^F_k(z,a,F_k) - G^F_k(z,a,0)。
快状态的更新是一个带衰减的累加:
F_{j+1,k} = ρF_{j,k} + (1-ρ)tanh(U_F(u_{j,k}) - U_F(u^0_{j,k}))
其中 ρ=0.8,也就是每步忘掉 20%,半衰期约 3 步。U_F 是一个小网络,读入当前状态、动作、快状态、该专家的预测误差,以及路由更新前后的专家权重 p_{j,k} 和 q_{j+1,k}。输入 u^0 是把误差置零的同一组输入,所以没有误差时快状态只会衰减,不会凭空产生修正。
这个设计对应“响应性”:误差一来,快状态立刻动;误差过去,它在几步内退掉。它天生不适合记住持久变化,因为半衰期只有 3 步。
慢状态:3 维,卡尔曼式地写入
每个专家还有一个慢状态 c_k ∈ R^3 和一个方差 P_k ∈ R^3。它把每个误差当成对慢状态的一次带噪测量:测量网络从 (z_j, a_j, F_{j,k}) 给出敏感度 J_k ∈ R^{D×3} 和偏置 b_k,让 ε_{j,k} ≈ J_k c_{j,k} + b_k;滤波网络给出测量噪声 r_k。
更新是卡尔曼滤波的形式,但增益和方差都由网络学出来。关键在式 (3):c 的更新只加“误差减去偏置”的敏感度投影,不减去已经被解释掉的部分。论文明确说这是有意的:一个持续存在的误差会一直往上加,这样持久变化才能累积进慢状态。
3 维是有意的压缩。作者没有解释为什么是 3,但从实验看,它足以装下负载、摩擦、电机强度这三个物理量中的低维组合;代价是它装不下更高维的变化,这一点后面会展开。
路由记忆:不碰专家,只调权重
路由的原始打分只依赖当前状态和动作,它看不到误差,所以变化后它的打分可能是错的。AFTER-WM 加了一个路由记忆 q,一个概率向量,用误差来修正:
q_{j+1} = softmax(log p_j + tanh(U_q(x_j) - U_q(x^0_j)))
U_q 读入状态、动作、当前的组合权重 p_j、所有专家的快状态和误差。误差为零时 q_{j+1}=p_j,也就是没有误差就不改权重。组合权重再由 π_γ = softmax(γR(z,a) + α log q) 给出,α=0.5,γ 是逆路由温度,越小权重越平均。
这里有一个工程上很重要的细节:路由记忆只有 3 个数(K=3),但它能在变化后把权重从“正在失效的专家”挪到“更能预测新动力学的专家”。论文 Figure 5 显示,变化前它平均给即将失效的专家 0.71、给即将接管的专家 0.22;变化后 2 到 5 步内两者互换位置。作为对照,在没有变化的参考窗口里,同样选出的两个专家要 29 到 43 步才会互换。

图 2|AFTER-WM 的整体结构:左侧用 64 步上下文逐个误差更新三类在线记忆,右侧 40 步开环滚动里快修正衰减、慢修正保持。
快慢两套动力学怎么配合
上下文 64 步:一次一步地写记忆
整个自适应发生在读上下文的阶段。模型按时间顺序读最后 64 个转移,每读一步,先让每个专家做一次单步预测,拿到误差 ε_{j,k},然后按固定顺序更新:先路由记忆,再快状态,最后慢状态。论文特别说明这个顺序,因为快状态的更新要读路由更新前后的权重,慢状态的读出又要读快状态。
读完之后,q_t、F_{t,k}、c_{t,k} 就是这次预测的全部“适应结果”。它们不是参数,是状态;每个测试窗口开始前重置为 q=1/K、F=c=0、P=σ_0^2。所以模型不是从训练集里记住某个机器人,而是从这 64 步里现场推断“现在发生了什么”。
开环 40 步:快状态衰减,慢状态冻住
进入滚动后,情况变得很简单:没有新观测,所以没有新误差,路由记忆 q_t 和慢状态 c_{t,k} 完全不动,只有快状态按 F_{t+h+1,k}=ρF_{t+h,k} 继续衰减。组合权重只在开始时算一次。
每一步的预测是三个专家修正后预测的加权和:
s_{t+h+1,k} = s_{t+h,k} + G^0_k(s_{t+h,k}, a_{t+h}) + Δ^F_k + Δ^S_k
Δ^F_k 和 Δ^S_k 分别用当前步的状态、动作、衰减后的快状态和固定的慢状态。设计意图是:前几步由快修正主导,后几步由慢修正主导。论文第 4 节的实测支持这个分工,但也暴露了它的边界。
公式:误差如何写进两个状态
第一条是误差与快修正的定义。专家先用快修正做单步预测,再和真实下一状态比较:
z^j+1,k=zj+Gk0(zj,aj)+ΔkF(zj,aj;Fj,k)\hat z_{j+1,k}=z_j+G^0_k(z_j,a_j)+\Delta^F_k(z_j,a_j;F_{j,k})z^j+1,k=zj+Gk0(zj,aj)+ΔkF(zj,aj;Fj,k)
εj,k=zj+1−z^j+1,k\varepsilon_{j,k}=z_{j+1}-\hat z_{j+1,k}εj,k=zj+1−z^j+1,k
第二条是快状态的衰减累加。没有误差时 u=u^0,更新项为零,只剩 ρF:
Fj+1,k=ρFj,kF_{j+1,k}=\rho F_{j,k}Fj+1,k=ρFj,k
+(1−ρ)tanh(UF(uj,k)−UF(uj,k0))\quad +(1-\rho)\tanh\left(U_F(u_{j,k})-U_F(u^0_{j,k})\right)+(1−ρ)tanh(UF(uj,k)−UF(uj,k0))
第三条是慢状态的卡尔曼式写入。S_k 是误差的总方差,g_k 是对新误差的信任度;不确定度大、测量噪声小时增益大:
gk=Pj,k/Sk,Sk=Pj,k⊙diag(Jk⊤Jk)+rkg_k=P_{j,k}/S_k,\qquad S_k=P_{j,k}\odot\mathrm{diag}(J_k^\top J_k)+r_kgk=Pj,k/Sk,Sk=Pj,k⊙diag(Jk⊤Jk)+rk
cj+1,k=tanh(cj,k+gk⊙1DJk⊤(εj,k−bk))c_{j+1,k}=\tanh\left(c_{j,k}+g_k\odot\frac{1}{D}J_k^\top(\varepsilon_{j,k}-b_k)\right)cj+1,k=tanh(cj,k+gk⊙D1Jk⊤(εj,k−bk))
第四条是路由记忆与开环组合。前者用误差修正权重,后者把三个专家的修正预测加权求和:
qj+1=softmax(zq)q_{j+1}=\mathrm{softmax}(z_q)qj+1=softmax(zq)
zq=logpj+tanh(Uq(xj)−Uq(xj0))z_q=\log p_j+\tanh(U_q(x_j)-U_q(x^0_j))zq=logpj+tanh(Uq(xj)−Uq(xj0))
st+h+1,k=st+h,k+Gk0(st+h,k,at+h)+δks_{t+h+1,k}=s_{t+h,k}+G^0_k(s_{t+h,k},a_{t+h})+\delta_kst+h+1,k=st+h,k+Gk0(st+h,k,at+h)+δk
δk=ΔkF+ΔkS\delta_k=\Delta^F_k+\Delta^S_kδk=ΔkF+ΔkS
z^t+h+1=∑kp^kst+h+1,k\hat z_{t+h+1}=\sum_k\hat p_k s_{t+h+1,k}z^t+h+1=k∑p^kst+h+1,k
这四组式子合起来就是全部在线计算。没有反向传播,没有测试时梯度步,只有几个小网络的前向。
训练:两阶段,第二阶段只训记忆网络
第一阶段训练专家和路由,损失是混合高斯的负对数似然,加两项防止专家塌缩的平衡项:一项把平均组合权重往均匀推,一项给每个专家的使用率设下限。论文还加了一个“专家存活检查”:每个专家的平均权重、单步责任都至少 0.05,任意两个专家的预测增量不能几乎相同,把某个专家的权重换给另一个专家必须让验证损失变差。这些条件不满足的种子会被丢弃,ALFA 上就有一个种子因此只剩 4 个。
第二阶段冻结底座,只训练记忆网络:更新网络 U_q、U_F、快慢读出网络、测量网络、滤波网络。训练方式和测试时一样:每个样本重置记忆,读 64 步上下文,开环预测 40 步,梯度穿过整个上下文。损失覆盖整个预测时域,并且用加权 MSE 让训练目标和评测指标对齐。
仅示意:AFTER-WM 在一个测试窗口上的流程(C=64,H=40)
1 重置 q=1/K,F_k=0,c_k=0,P_k=σ0²
2 for j in 上下文的 64 个转移:
3 每个专家算 ẑ_{j+1,k}=z_j+G0_k+ΔF_k,得到 ε_{j,k}
4 q ← softmax(log p_j + tanh(Uq(x_j)-Uq(x0_j)))
5 F_k ← ρF_k+(1-ρ)tanh(UF(u)-UF(u0))
6 c_k, P_k ← 卡尔曼式写入(式 3)
7 end for
8 p̂ ← πγ(z_t,a_t;q_t),只算一次
9 for h in 0..39:
10 s_{t+h+1,k} 用 G0_k、ΔF_k、ΔS_k 递推;F_k ← ρF_k;c_k 固定
11 ẑ_{t+h+1} ← Σ p̂_k s_{t+h+1,k}
12 end for
评测:六个数据集、十个基线、一个规划器
数据与变化协议
论文用了六个数据集,五个 MuJoCo 仿真加一个真实固定翼无人机数据集:
- JSHC:HalfCheetah 每 100 步随机一个腿关节失去动力,沿用 GrBAL 和 MBCD 的协议。
- ESCP-HC:每 100 步把重力、关节阻尼、躯干质量乘上新的随机因子,沿用 ESCP 的协议。
- Panda:Franka 机械臂,负载 0 或 0.5 到 2.5 公斤、关节摩擦乘 0.1 到 3、电机强度乘 0.8 到 1.2。
- UR5e:同类变化,负载 0 或 1 到 4 公斤。
- Hopper:躯干质量、地面摩擦、电机强度变化,另有 4 到 12 步的力脉冲和单步冲击。
- ALFA:真实的 CMU 固定翼飞行数据,发动机或操纵面在标注时刻失效,部分飞行没有失效。
每条序列 300 个转移,采样间隔 0.05 秒,也就是 15 秒;查询用 64 步上下文加 40 步预测,预测时域 2 秒。训练、验证、测试按整条 episode 划分,Panda、UR5e、Hopper 各有 288 条训练序列、144 条验证、144 条测试、还有 144 条第二测试集。真实数据只做预测,因为飞行不能换一组动作重放。
比谁:三类十个基线
十个对比模型覆盖论文第二节的三类:
- 通用:DreamerV3 的 RSSM、TD-MPC2、用 40 步损失训练的 TD-MPC2-40、一个普通 MLP。
- 在线自适应:GrBAL、ReBAL、MOLe、MBCD、GPMM。
- 多时间尺度:MTS3。
所有神经网络模型都在 0.70M 参数左右(GPMM 非参数),共享训练和测试流程、数据划分、64 步上下文和 40 步时域。这一点很重要:0.70M 是一个很小的模型,所以增益不能归因于容量。学习率乘数在单独的 HalfCheetah 开发集上选一次,然后迁移到所有数据集;每个数据集只在验证集上选 γ、GrBAL 的内步长和 RSSM 的评测模式。
| 类别 | 代表模型 | 适应方式 | 时间尺度 |
|---|---|---|---|
| 通用世界模型 | RSSM、TD-MPC2、TD-MPC2-40、MLP | 无专门自适应,靠上下文或隐状态 | 无显式尺度 |
| 在线自适应 | GrBAL、MOLe | 测试时梯度步更新参数 | 由步长决定 |
| 在线自适应 | ReBAL、CaDM、HiP-RSSM | 把近期历史编码成上下文变量 | 由历史长度决定 |
| 在线自适应 | MBCD、GPMM | 检测变化或推断当前动力学后切换模型 | 由阈值决定 |
| 多时间尺度 | MTS3 | 快变量每步更新、慢变量固定间隔推断 | 固定间隔 |
指标与统计
主指标是“多步平均误差”:对每个预测步算归一化均方误差 nMSE,再对 n=1、5、10、20、40 这五个时域取平均,让短时域和长时域都计入。第二个指标是第 40 步误差,专门看持久性。每个仿真数据集跑 5 个种子,ALFA 用所有模型共享的 4 个种子;置信区间是 10000 次自助重采样的 95% 百分位区间。
这个指标设计值得单独说一句:它没有只看平均值,而是把“变化后第几步”单独切片。论文按最新变化到预测起点的步数分成 1 到 4、5 到 19、20 到 59、至少 60、以及没有变化五种阶段,每个阶段单独比。这样才能把响应性、稳定性、持久性拆开看,而不是用一个总数糊过去。

图 3|五个仿真数据集上 11 个模型的逐预测步误差(对数坐标),以及 AFTER-WM 相对最强基线的逐步骤降幅。
主结果:16.4% 到 33.7% 的差距从哪来
五个数据集全胜
表 1 是论文的主表,每个数据集给出多步平均误差和第 40 步误差,5 个种子的均值和标准差。AFTER-WM 在两个指标、五个数据集上全部最低,而且 50 个“数据集乘种子”的差值,95% 区间全部在零以下。
| 数据集 | 多步平均 | 最强基线 | 基线值 | 相对降幅 |
|---|---|---|---|---|
| JSHC | 0.124 | ReBAL | 0.166 | 25.7% |
| ESCP-HC | 0.208 | ReBAL | 0.249 | 16.4% |
| Panda | 0.0473 | MOLe | 0.0711 | 33.5% |
| UR5e | 0.0435 | ReBAL | 0.0641 | 32.1% |
| Hopper | 0.0499 | MOLe | 0.0752 | 33.7% |
一个容易被忽略的细节是:每个数据集上的最强基线都是在线自适应模型,不是通用世界模型。这说明在这个任务上,“有没有专门的动力学自适应”比“底座多强”更重要。通用模型里 MLP 在 Panda 和 UR5e 上其实不弱(0.0841 和 0.0846),MTS3 在 UR5e 上也到了 0.0861,但都打不过会自适应的 ReBAL 和 MOLe,更打不过 AFTER-WM。
另一个细节是方差。MBCD 在 Panda 和 UR5e 上有一个种子的预测发散,误差均值被拉到 6.8 和 172;GPMM 的方差也很大。AFTER-WM 多步平均的标准差在 0.0007 到 0.003 之间,是表里最稳定的一档。对一个要上机器人的模块来说,稳定性可能比均值更重要。
第 40 步仍然低 21.9% 到 41.9%
多步平均会被前几步拉高,所以论文单独看了第 40 步。图 3 左边是逐步骤误差曲线,AFTER-WM 是粗蓝线,从第 2 步起在五个数据集上都是最低;右边是相对最强基线的逐步骤差值,从第 4 步起所有区间都在零以下,第 40 步低 21.9% 到 41.9%。
这个数字比多步平均更能说明“持久性”。开环滚动到第 40 步时,快修正按 0.8 的衰减已经只剩 0.8^40,几乎为零;如果模型只靠快修正,第 40 步应该退化到基线水平。它没有退化,说明慢状态和路由记忆确实把变化留住了。
逐步骤比较还有一个更细的统计:五个数据集乘十个基线乘 40 步,共 2000 个比较,AFTER-WM 在其中 1999 个更低。唯一的例外是 JSHC 的第 1 步,ReBAL 更低。这个例外不是噪音,后面讲“互相拖累”时会专门说。
变化刚发生 1 到 4 步也低 15.6%
按变化阶段切片后,论文报告了 25 个“数据集乘阶段”的单元格,全部为正,降幅从 6.6% 到 36.2%。即使变化发生在预测起点前 1 到 4 步,也至少低 15.6%。在没有持久变化的窗口上,JSHC 低 27.7%,Panda、UR5e、Hopper 分别低 29.4%、28.7%、28.1%。
这里要区分两种“没有变化”的窗口。JSHC 的 280 个窗口是真的什么都没有发生;Panda、UR5e、Hopper 的 378、370、381 个窗口里,几乎每一个都含冲击或摩擦、电机强度的短脉冲。也就是说,这些窗口测的是稳定性:如果模型把脉冲当成永久变化,误差会变大。AFTER-WM 在这些窗口上仍然最低,说明它的慢状态没有被短扰动带跑。
控制任务:93.1 的回报
预测准不等于控制好,所以论文补了一个控制实验:JSHC 的关节失效任务,五个腿关节之一零力矩,在 MPC 第 40 步和 140 步切换失效关节,模型不知道是哪一个。所有模型用同一个 CEM 规划器,每次采样 500 条 30 步动作序列,保留最好的 50 条,平滑系数 0.1,迭代 5 次,只执行当前步再重规划。
AFTER-WM 的平均回报 93.1,比第二名 MOLe 高 13.8。十一个模型上,多步平均误差和回报的 Spearman 秩相关是 0.75,也就是说更准的模型倾向于拿到更高回报。这个相关性不是因果证明,但至少说明在这个任务上,预测精度的提升没有被规划器吃掉。

图 4|两个机械臂例子:上排是 AFTER-WM、下排是最强基线,在变化后第 5、10、20、40 步的预测姿态与真实姿态,颜色和数字是连杆偏差。
机制对账:谁在第几步起作用
消融矩阵:去掉哪一块最疼
论文做了两组消融。第一组在测试时干预,不改训练:去掉两个修正、把误差置零、把误差延迟 4 步、换成另一条序列的误差。四种干预在五个数据集上都让误差变大,换误差最狠,提升 23.3% 到 149.0%。这说明模型用的是“当前序列误差的内容”,不只是误差的统计量。
第二组是重训练消融,每次去掉一个部件,把参数量补回 0.70M。图 7 左是结果:去掉慢修正,误差增加 2.8% 到 8.6%;去掉快修正,增加 3.1% 到 21.0%;去掉误差输入,增加 5.1% 到 42.8%;把 γ 固定为 1,增加 9.0% 到 51.3%。每个移除在每个数据集上都让误差变大,没有例外。
这里最值得记的是“去掉误差输入”的代价在 Panda 和 UR5e 上高达 42.8% 和 38.8%,远高于 JSHC 的 15.2%。一个合理的解释是机械臂的变化更依赖上下文里的误差内容:负载和摩擦是连续量,误差的大小和方向本身就编码了新参数;而 JSHC 的失效关节更像离散模式,路由权重的作用更大。论文没有单独验证这个解释,但从探针实验看是自洽的。
线性探针:3 个数字里真的藏着负载
如果慢状态真的记住了物理参数,那么用一个线性探针从状态里读参数,应该能读出来。论文做了这件事:用岭回归从慢状态(3 个专家乘 3 维,共 9 个数)或快状态(3 乘 32)预测当前的变化参数。
结果是:快状态的平均 R^2 是 0.35 到 0.45,慢状态是 0.16 到 0.25;打乱标签的对照探针分数在零以下。JSHC 的失效关节分类,快状态的平衡准确率 0.89,慢状态 0.56,随机是 0.2。另一个在测试窗口上做的读出实验更直接:变化后 2 步,新参数已经能从快状态读出(R^2 0.33 到 0.75);慢状态这时还几乎没有(最多 0.06),4 步后到 0.06 到 0.25,8 步后 0.26 到 0.47,16 步后 0.41 到 0.56。
这组数字把“快慢”讲得很具体:快状态先接住变化,慢状态在后面几步把它固化。它也暴露了瓶颈:慢状态只有 3 维,R^2 的上限明显低于快状态。如果变化本身是高维的,这 3 个数字不够用。
变化越大,更新越大
论文还验证了“误差驱动”这件事不是比喻。它把变化的物理量取对数、按变化前后的标准差归一化,算一个综合变化大小,然后看这个大小和记忆更新幅度的相关性。结果是正相关:变化大小与变化后 4 步内的快状态更新相关性 0.33 到 0.56,与 16 步内的慢状态更新 0.23 到 0.42,与 16 到 30 步后的路由记忆移动 0.20 到 0.50,所有区间都在零以上。
在 UR5e 上按变化大小分三组,大变化时快状态更新是同一上下文步无变化时的约 3 倍(0.62 对 0.21),慢状态更新在两步后达到约 2 倍(0.067 对 0.032)。这解释了为什么模型不需要变化标签:误差的大小本身就是监督信号。

图 5|变化前后的记忆行为:上左为两个例子里误差、快慢更新与组合权重的时序,右侧为各记忆在第 5、10、20、40 步移除的误差份额,下排为 1586 次持久变化的平均。

图 6|三个设计的对照实验:改误差、去掉一个修正、只用一种修正重训练、以及不让误差更新路由记忆。
快慢尺度什么时候互相拖累
尺度边界选错:3 维慢状态装不下高维变化
这套方法最强的地方是“低维参数变化”,最脆的地方也是它。慢状态每个专家只有 3 维,三个专家共 9 个数;探针实验里慢状态的 R^2 只有 0.16 到 0.25,明显低于快状态的 0.35 到 0.45。这说明慢状态保留的是变化的低维投影,不是完整参数。
如果你的变化是多个关节摩擦独立变化、接触点位置变化、或者负载质量分布变化,3 维很可能把它们压成一个混合量。此时慢修正仍然能让平均误差下降,但它学到的是一个“平均意义上的补偿”,在需要精细区分不同变化的规划任务里可能不够。论文的 Panda 和 UR5e 同时改负载、摩擦、电机强度三个量,探针显示慢状态能读出其中的低维组合;如果变化维度再高,这个容量就会成为天花板。
我认为这里有一个可操作的判断:先在你的数据上做一个和论文一样的线性探针,看 3 维慢状态能读出多少参数方差。如果 R^2 明显低于 0.3,就不要指望这套结构直接迁移,得先加维或换参数化。
误差累积:第 1 步仍然是短板
论文自己给了一个反例:2000 个逐步比较里,唯一输掉的是 JSHC 第 1 步,ReBAL 更低。原因在附录里写得很清楚:变化刚发生、还没进入上下文时(d=0),快修正仍然拟合的是旧动力学,它和“应该移除的误差”的余弦相似度从 d=-1 的 0.45 掉到 d=0 的 -0.16。要读完变化后的 1 到 5 个上下文步,快修正才恢复到后续对齐度的 90%。
换句话说,快修正再快,也需要至少一个误差样本。变化如果恰好落在预测窗口内、上下文里完全没有,第 1 步就是所有方法一起猜。论文在“变化发生在预测期间”的实验里仍然领先,ESCP-HC 上至少低 15.6%,但这是所有阶段里最小的差距。
对规划器的含义很直接:如果你的控制频率高、每一步都要重新规划,第 1 步的误差会被反复放大;如果你的规划器像论文一样一次开环 40 步、只执行第一步,那么第 1 步恰好是最重要的。这两种用法对“响应性”的要求不一样,论文的指标没有区分。
瞬态与持久变化的边界
快状态对持久变化和瞬时扰动的反应几乎一样大:变化时跳到事件前 4 步均值的 2.6 到 3.3 倍,扰动时 2.3 到 2.7 倍;四步后都回到 0.99 到 1.15 倍。真正区分两者的是慢状态和路由记忆:只有持久变化会让它们继续移动。
这意味着边界不在快状态,而在“扰动持续多久”。论文用的瞬态是 4 到 12 步的力脉冲和单步冲击;如果一个扰动持续 20 步、30 步,它在慢状态看来就更像持久变化,会被写进去。论文没有测这个边界,但从机制上可以推断:慢状态的写入只看误差和增益,没有显式的“事件结束”检测,持续足够久的扰动一定会渗进去。
反过来,如果持久变化之后紧跟一个反向变化(比如放下负载),慢状态需要把之前累积的量退掉。论文的“回到正常值”序列类型仍然表现不错(变化类型分组里降幅 21.1% 到 35.3%),但它没有单独报告“变化后立刻反向”的最坏情况。这是我认为最值得补的实验。
冻结慢状态的代价:滚动中发生的变化
开环滚动里慢状态和路由记忆完全冻住,这是持久性的来源,也是它的代价。如果第 20 步又发生一次变化,模型没有任何机制去修正,只能靠快状态衰减后的残余。
论文的“预测期间发生变化”实验显示它仍然领先(至少 15.6%),但那是因为变化前的记忆还有效,而且变化后的步数不多。如果 40 步里发生两次变化,或者变化发生在第 5 步、要影响后面 35 步,冻结的记忆就会变成过时信息。这不是实现 bug,是设计上的取舍:要在没有观测的滚动里保持持久,就只能冻结。
同样的取舍也适用于路由权重:p̂ 只算一次。如果某个专家在滚动中途变得明显更差,模型不会重新加权。论文的路由记忆是在上下文里学的,滚动里没有误差,也就没有重新加权的依据。

图 7|左为四个重训练消融在各数据集上的误差增幅,右为 ESCP-HC 上改变上下文长度与路由温度后相对五个基线的降幅。
局限与失效场景
只有状态,没有图像
这是最大的边界。论文的输入是 17 维、14 维、12 维、11 维这样的状态向量,不是图像;作者在结论里明确说未来工作才扩展到图像观测和真实机器人。如果你的世界模型吃的是像素,这套方法不能直接套:误差要定义在状态空间,快慢状态也要有对应的物理量纲。把像素重建误差当误差信号是另一条路,但论文没有验证。
变化必须持续且低维
三个要求里的“持久”不是随便写的。如果变化是周期性来回、或者高频切换,慢状态会一直在追;如果变化是高维的(接触、形变、多关节耦合),3 维装不下。论文的变化类型覆盖了一次性变化、多次切换、两设置交替、回到正常、慢漂移,但自建的三个数据集变化点固定在段边界上,最短间隔 40 步;比这更快的连续切换没有测,高维变化也没有测。
另外,慢状态的更新不减去已解释部分,这是为了累积;代价是它对“变化幅度估计偏大”没有纠偏机制。如果测量网络给出的 J_k 和 b_k 在分布外不准,慢状态会沿着错误的方向累积。超出训练范围的外推实验(ESCP-HC 参数超出训练范围)仍然领先 5.9%,说明有一定外推能力,但幅度明显小于分布内。
每个窗口重置记忆
评测协议是每个查询重置记忆、读 64 步、预测 40 步。这适合“给我一段历史、预测未来”的离线场景,不适合连续部署。真实机器人是流式的:每 0.05 秒来一个新状态,记忆应该一直带着走。论文没有报告流式设置下的表现,也没有报告记忆长期运行会不会漂移。
这个限制在落地时很实际:如果你按论文的方式每个窗口重置,就要保证每次都能拿到 64 步(3.2 秒)的干净历史;如果拿不到,比如机器人刚启动或刚从急停恢复,模型就没有足够的上下文来推断变化。
算力与超参账本
论文没有给墙钟时间、FLOPs 或显存占用,这是我在复现时最想要但拿不到的数字。能确定的是:底座加记忆网络约 0.70M 参数,第二阶段可训练参数 0.25M 到 0.27M,16000 次更新,批大小 32 个窗口;测试时只做前向,不做梯度更新。以 0.70M 的规模,推理开销大概率不是瓶颈,真正的成本在数据:每个仿真数据集要 288 条 300 步的训练序列,还要有覆盖各种变化类型的验证集来选 γ。
超参方面,γ 是每个种子、每个数据集在验证集上单独选的,候选 10 个值;ρ=0.8、d_F=32、d_c=3、α=0.5、β=10^-3 都是固定的。论文的敏感性实验显示,在 ESCP-HC 上改 C 到 32 或 128、把 γ 固定到 0.05、0.5、1,25 个设置里仍然全胜,降幅 8.8% 到 40.0%。这缓解了“调参调出来的”质疑,但没有回答“换一个机器人,d_c=3 还够不够”。
落地判断:什么团队该试,什么团队别碰
值得试的三个信号
- 你的动力学变化是低维、物理可解释的:负载、摩擦、电机强度、关节失效。这类变化正好落在 3 维慢状态的能力范围内。
- 你需要在线适应,但不能在机器人上跑梯度更新:AFTER-WM 测试时只前向,适合算力受限、或者不希望在线改权重的场景。
- 你已经有状态观测和控制频率:不需要图像,关节角、速度、力矩这类信号就够;能稳定拿到 64 步历史(论文是 3.2 秒)。
别碰的三种情况
- 你的输入是图像或点云。论文没有做视觉,误差定义和记忆结构都要重设计。
- 你的变化是高维、不可参数化的:接触几何、柔性物体、多关节强耦合。3 维慢状态会把这些压成一个混合量,平均误差可能降,但精细规划不一定。
- 你的规划器要求第 1 步就准,或者变化会在 40 步内反复发生。前者受限于“至少需要一个误差样本”,后者受限于“滚动中记忆冻结”。
最小复现路径
如果要在自己的数据上试,我建议按这个顺序:
- 先复现底座:三个专家的混合专家模型,用单步加轨迹的混合高斯损失预训练,确认专家没有塌缩(论文的存活检查可以直接抄)。
- 再加记忆:按论文的顺序实现路由、快状态、慢状态,第二阶段用开环 40 步损失训练,确保训练时的重置语义和测试时一致。
- 先做切片评测:不要只看平均
nMSE,按“变化后第几步”切片,分别看第 1 步、第 5 步、第 40 步,否则快慢分工的收益会被平均掉。 - 再做两个关键消融:把误差置零、把慢状态冻住。如果这两个消融不掉点,说明你的任务不需要这套机制。
- 最后做探针:从慢状态线性读出你的物理参数,
R^2太低就说明 3 维不够。
术语速查表
术语与记号
| 术语 | 含义 |
|---|---|
| 世界模型 | 预测机器人状态如何随动作变化,用于规划与控制 |
| 开环滚动 | 一次预测未来 H 步,预测结果作为下一步输入,中间没有新观测 |
上下文 C | 预测前读入的最后 64 个转移,论文固定为 64 步、3.2 秒 |
预测时域 H | 一次预测的未来步数,论文为 40 步、2 秒 |
专家 G^0_k | 预训练的 MLP,预测状态增量;K=3,参数冻结 |
快状态 F_k | 32 维、衰减因子 0.8 的在线记忆,负责变化后前几步 |
慢状态 c_k | 3 维、卡尔曼式写入的在线记忆,负责把变化留到第 40 步 |
路由记忆 q | 3 个数的概率向量,用误差调整专家组合权重 |
预测误差 ε | 专家单步预测与真实下一状态之差,是全部自适应的驱动信号 |
nMSE | 归一化均方误差,按训练集标准差逐维归一化 |
| 多步平均误差 | 对 n=1、5、10、20、40 的平均误差再取平均,论文的主指标 |
| 持久变化 | 物理参数跳到一个新值并保持,如抓起重物 |
| 瞬态扰动 | 短时脉冲或冲击,过后恢复,如碰撞 |
总结
AFTER-WM 把“适应”拆成了两个时间尺度:快状态负责立刻反应、随后忘掉,慢状态负责缓慢累积、一直保留,路由记忆负责在专家之间挪权重。它用 0.70M 参数和一套无梯度的在线记忆,把变化后的多步预测误差压低了 16.4% 到 33.7%,但它记住的是低维物理参数,不是任意的高维变化。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)