World-T³ 治好失忆：记忆写进参数+20.6FPS

2026年10月12日，Meta Reality Labs 联合伊利诺伊大学芝加哥分校、布朗大学在 arXiv 提交论文 World-T³（Test-Time Training as Persistent Memory for Real-Time Video World Models），提出一种把"记忆写进模型参数"的相机可控视频世界模型：用测试时训练在生成过程中把看过的场景按相机位姿存进快速权重，单张 NVIDIA B200 上以 1280×704 跑出 20.6 FPS 的实时生成。对做具身仿真、可玩环境、虚拟漫游的开发者来说，它直击视频世界模型最尴尬的"长时失忆"痛点。

目录

• 导语
• 二、世界模型为什么"失忆"
• 三、World-T³ 怎么把记忆写进参数
• 四、重访一致性：数字说话
• 五、20.6 FPS 是怎么炼出来的
• 六、现在能上手吗：双路径
• 七、冷静视角：边界与待验证
• 总结

二、世界模型为什么"失忆"

先澄清一个容易混的概念：视频世界模型（video world model）和上一轮刷屏的 Genie 4 那种"交互式世界模拟"不是一回事。World-T³ 属于"相机可控视频生成"路线——给一张参考图、一段场景描述、以及 6 自由度相机位姿（或控制指令），逐帧生成能自由漫游的虚拟世界。Genie 4 是实时交互模拟（逐帧生成可探索环境），World-T³ 是相机轨迹驱动的视频生成，两者解决的是"世界模型"的不同侧面。更朴素地说，视频世界模型回答的是"给定一张图和我要怎么动相机，下一帧世界长什么样"；它既是具身智能的仿真引擎（机器人在里面练），也是游戏与影视的 prototyping 工具（先看见再建模）。这条线近一年极其热闹：从 NVIDIA 的 SANA-WM、腾讯的 Matrix-Game，到各家相机可控生成器，竞争点正从"生成得真不真"转向"生成得久不久、记得牢不牢"。

视频世界模型到底为什么会"失忆"？这是整篇论文要回答的问题。自回归视频扩散模型（VDM）生成长视频时，每个新视频块只看得见最近的上下文窗口——World-T³ 里这个窗口固定为 21 个潜帧。一旦之前看过的画面滑出窗口，模型就只能靠生成先验重新脑补，于是"回到旧位置却生成出不同场景"。这就像人走进房间转一圈回来，墙上挂的画却换成了别的内容。

现有解法各有取舍。先说结论：“失忆"是硬伤而不是小瑕疵。因为视频世界模型的价值不在于生成一段好看的短片，而在于当成一个可交互、可反复进入的环境——具身智能要在里面练走路、练抓取，游戏要在里面做原型，用户要能"回到刚才那个角落”。一旦回去时场景变了，模型给出的就不是同一个世界，基于它的仿真、训练、叙事就全部失真。所以长时一致性不是锦上添花，而是世界模型能不能当"世界"用的前提。

NVIDIA 的 SANA-WM（2026 年 5 月，2.6B，已开源）用混合线性注意力——Gated DeltaNet 循环状态加周期性 softmax 精确召回——把上下文压成固定大小，靠"遗忘旧内容但不让显存爆炸"换到一分钟 720p；但它的流式版本仍用滑动窗口加 sink，窗口外的内容只靠循环状态存活，重访一致性有限。World-T³ 走另一条路：不把历史越存越多，而是把看过的世界"写进参数"。

三、World-T³ 怎么把记忆写进参数

基座是预训练的 Wan2.2-TI2V-5B（图文到视频），通过三个递进阶段依次拿到相机控制、持久记忆和实时生成能力。

阶段一：双向相机教师。 把相机位姿编码成 Plücker 光线图（6 通道），经 AdaLN 注入每个 DiT 块；双向注意力让模型看到整段序列，学会跟随相机轨迹。这一教师既初始化下一阶段，也给后面的蒸馏当参考分数。

阶段二：带 TTT 记忆的自回归教师。 把双向模型转成块因果自回归，上下文由"首块（全局外观 sink）+ 最近 K 个干净块（滑动窗口）"构成，固定 21 潜帧。窗口外的历史交给挂在每个 DiT 层的 TTT 记忆模块。记忆是个两层 MLP：固定的键投影 W1 把位姿光线图映到非线性特征空间，读出矩阵 W2 累积场景表征；键来自相机光线图，值来自干净（去噪）隐状态——故意把记忆和扩散噪声解耦。当块滑出窗口，它的（位姿, 隐状态）被编码成键值对，用带权岭回归、以递归最小二乘（RLS）在线"巩固"进记忆；RLS 用累计的位姿协方差矩阵 P 做白化，只把与已有记忆不重复的新残差写进去。针对相机运动还有一处巧思：相机轨迹通常平滑，相邻块位姿几乎共线，若用传统 TTT 的逐步梯度更新，记忆会被重复内容反复强化、冲淡早先信息；RLS 的白化只写与已有记忆不共线的新残差，保证记忆里装的是真正不同的视角，而不是同一角落的几十次近似。因为 W1 固定，每次更新都得到目标的最优解，最终记忆状态和写入顺序无关。读取时，目标块位姿去查询记忆，结果经逐通道门控残差注入该层隐状态。

把记忆写进参数，和把历史帧越存越多有什么不同？关键在部署阶段：主干和编码器全部冻结，只有 W2 和 P 随生成在线演化，且不对扩散 Transformer 做反向传播。换句话说，记忆在推理时"学"，原模型权重纹丝不动——这是"测试时训练"的名字由来。

阶段三：双教师分布匹配蒸馏。 把需要 50 步采样的自回归教师蒸馏成 4 步生成器：先用一致性蒸馏把连续流匹配离散成 4 步，再用 DMD 找回大步跳跳掉的画质与一致性。和常见单教师 DMD 不同，World-T³ 把真实数据分数拆成两个互补来源——双向教师管短窗真实感与运动连贯，自回归教师管长程一致性；每位教师配一个结构相同的 critic，在学生生成样本上训练，且在计算记忆分数前，教师与 critic 的记忆先在学生自己的生成轨迹上写入，直接惩罚 rollout 中累积的轨迹漂移。这一设计的微妙之处在于：它惩罚的不是单帧画质，而是"学生自己生成的整条轨迹"与"教师眼里的正确世界"之间的偏差，逼着学生在长序列上保持前后一致，而不只是每一帧都好看。

（图一：两种记忆路线对比）

四、重访一致性：数字说话

评测用的是一个 120 段"去程 + 原路返回"基准：每段 10 秒（160 帧 @16 FPS，1280×704），相机在第 80 帧掉头原路返回。重访指标对比去程和返程中相机位姿相同的帧对，而四组帧对的时间间隔（24–36 个潜帧）全部超过 21 潜帧的上下文窗口——只有真"记住"了场景的模型才答得对。

对照最强基线 SANA-WM，论文给出的数字（均为论文自报）是：重访 PSNR 从 13.52 升到 18.31 dB；绝对旋转误差从 3.344° 降到 1.075°；相机矩阵误差从 0.1200 降到 0.0318；DINOv2 语义特征距离近乎减半（0.0800 → 0.0390）。逐片段配对看，120 段中 111 段语义距离更低、112 段 PSNR 更高，其中 96 段两项同时超过所有基线。在 Matrix-Game 3.0、HY-World 1.5、DreamX-AR、LingBot-Fast、SANA-WM 五个基线上，4 步 World-T³ 在全部 6 项重访一致性指标排名第一。

有一点要分清：它提升的是"一致性/记忆"，不是"画质"。7 维 VBench 平均分 World-T³ 为 74.52，与各基线（72.87–75.32）及真实视频（75.69）处于同一区间。蒸馏（50→4 步）后学生重访 PSNR 还略升（16.69 → 18.31 dB），在 120 段中 91 段优于教师；代价是 VBench 从 75.15 微降到 74.52。所以别把"治好失忆"读成"画质也飞跃"——它解决的是长时一致性。换个角度读这些数字：PSNR 从 13.52 到 18.31 dB 看似只差 5 dB，但在"回到旧位置还原场景"这个任务上，往往意味着"能认出这是同一面墙"和"墙上的画全换了"的区别；旋转误差从 3.344° 降到 1.075°，意味着相机真的走到了指定位置，而不是差之毫厘地飘到隔壁。这两项是"世界模型可不可信"的硬指标，不是主观观感。

五、20.6 FPS 是怎么炼出来的

4 步模型在单张 NVIDIA B200、1280×704 分辨率下跑出 20.6 FPS，且生成过程中记忆实时更新。输入视频是 16 FPS，20.6 FPS 高于播放帧率，意味着生成速度能跟上播放，具备实时交互的可能。

20.6 FPS 意味着能实时交互了吗？在 B200 这块硬件上，答案是"生成速度够了"；但能不能落到你手里的机器，是另一回事（这点留到冷静视角）。

工程上这 20.6 FPS 来自一套不改结构、不改精度的推理优化：在 4 个去噪步之间复用记忆读取结果与 RoPE 旋转后的上下文键、复用不变的上下文前缀，再叠加 torch.compile、FlashAttention-4、cuDNN 9、channels-last 布局的 VAE 解码、按卷积形状自动选最快引擎、后台线程预取噪声。端到端加速 3.12 倍：生成一段 30 秒视频从 70.48 秒降到 22.59 秒，单个视频块耗时从 1855 毫秒降到 589 毫秒。作者在算子级和完整生成两个层面验证了加速实现与原实现的数值一致，说明提速没有以数值偏差为代价。值得一提的是，这套优化刻意不碰模型结构和数值精度——没有用更低比特量化换速度，也没有为提速改网络，所以 20.6 FPS 不是"画质打折换来的快"，而是同一份 4 步模型在更好工程实现下跑出来的。当然，代价仍在硬件：B200 本身不是消费级卡。这也意味着一旦代码开源，社区大概率能在稍弱的卡上通过同样的工程手段逼近实时，瓶颈更可能在显存而非算力。横向看，20.6 FPS 的实时档位和 Google Genie 4（约 2 分钟时长、研究预览）代表世界模型两条不同的实时化路径：Genie 4 靠大模型在生成循环里当导演，World-T³ 靠把记忆固化进参数加少步蒸馏。一个长于"造得活"，一个长于"记得牢"，正好互补。

（图二：World-T³ 三阶段训练）

六、现在能上手吗：双路径

这是资讯文最容易空转的地方——光说"论文很牛"等于没说。我把它拆成两条路，确保你当下有动作可做。

路径一（官方入口）。 项目主页 adreamwu.github.io/World-T3/ 已上线，内含重访对比播放器（与 SANA-WM、真实视频并列展示同一路径）；arXiv 2610.17434 有论文和 HTML 版。截至检索，训练与推理代码是否开源尚未坐实，建议直接盯项目主页与 arXiv 更新——一旦放出权重和脚本，优先跑官方复现。

路径二（现在就能体验的平替）。 想立刻建立"相机可控世界模型"的体感、理解 World-T³ 要解决的失忆问题，可以直接玩已经开源的 NVIDIA SANA-WM（2.6B，单卡 RTX 5090 用 NVFP4 量化 34 秒出 60 秒 720p）。它不是 World-T³，但同属相机可控视频世界模型且开源可跑，能让你先亲眼看到"长时漫游里场景会不会飘"，再回头理解"把记忆写进参数"到底解决了什么。如果你更关心方法本身而非体验，路径二还有一层价值：SANA-WM 用的"循环状态 + 周期 softmax 召回"正是 World-T³ 想要超越的路线，亲手跑一遍 SANA-WM 的重访 demo，你会更直观地感受到 TTT 快速权重到底补上了哪块短板。

# 路径二示例：用开源相机可控世界模型（以 SANA-WM 为参照）建立体感
# 环境：单张 RTX 5090（或同档 GPU）+ NVFP4 量化；具体命令以官方仓库 README 为准
# 下面给出最小调用骨架，便于你对照官方文档替换真实入口

# 1) 克隆并进入官方仓库（地址以 NVIDIA/SANA-WM 官方发布为准）
#    git clone <SANA-WM 官方仓库> && cd <仓库>

# 2) 准备输入：一张参考图 + 一段 6 自由度相机轨迹（或键盘控制串）
#    camera = load_camera_trajectory("round_trip.json")  # 去程 + 原路返回
#    ref_image = load_image("room.jpg")

# 3) 生成可漫游的世界视频
#    video = world_model.generate(
#        reference=ref_image,
#        camera_pose=camera,        # 逐帧相机位姿
#        num_frames=160,            # 10 秒 @16 FPS
#        resolution=(1280, 704),
#    )
#    video.save("world_trip.mp4")

以上为最小骨架，真实命令与参数请严格以 SANA-WM 官方仓库 README 为准；目的是让你先跑通"相机可控世界模型"的体验，再回看 World-T³ 的"记忆写进参数"解决了什么。现在能跑起来体验吗？官方路径要等开源，但本地平替这条路现在就通。

七、冷静视角：边界与待验证

写世界模型不泼这盆冷水，就等于帮着发公关稿。几个点得说清楚。

代码未确认开源。 论文与项目主页已出，但截至检索，训练/推理代码是否公开尚未坐实；能否复现，取决于官方是否放出权重与脚本。

20.6 FPS 是 B200 上的成绩。 B200 是高端数据中心卡，消费级 GPU 能否接近，要看开源与社区实测。别把"单卡 20.6 FPS"直接等同于"你电脑上也能实时"。

它提升的是记忆与一致性，不是画质。 VBench 与各基线同档，说明 World-T³ 的价值在长时一致性，不是画质跃升。

评测只对比了 5 个基线。 这是当前相机可控视频世界模型里较强的几个，但"全第一"的范围仍是这一子集，不是所有视频生成模型的横评。

仍是论文，不是公开产品。 没有 API、没有可交互的在线生成入口（项目主页是对比播放器，不是生成器）。它指向的是"用测试时训练做持久记忆"这一方法路线，离"开箱即用的世界模型服务"还有距离。

一个更深的判断：World-T³ 给出的答案是"不要把历史越存越多，而是用测试时训练把看过的世界写进参数，用 RLS 保证每次只写新信息"。这在"固定存储、固定每步开销"上很优雅——无论生成多久，记忆大小和读写成本都不涨。但固定大小记忆也有上限：当场景信息超过快速权重的容量，是否还会出现缓慢漂移？论文没有给出数分钟以上超长序列的边界测试，这点有待观察。把视野拉远一点：World-T³ 真正有意思的，不是某个指标涨了几分，而是它把"记忆"从一个被回避的工程难题，变成了模型参数里一个固定大小的模块。在此之前，长视频要么靠越堆越长的上下文（显存爆炸），要么靠循环状态偷偷遗忘（一致性有限）。World-T³ 用测试时训练给了一条第三条路——这条路能不能通到分钟级、小时级，是接下来最值得看的。

（图三：World-T³ 的提升与边界）

总结

World-T³ 的核心进展，是给视频世界模型装上了"按相机位姿索引的持久记忆"：用测试时训练把看过的场景写进快速权重，用递归最小二乘保证每次只吸收新信息，从而在不增加存储的前提下解决长时重访的一致性。配合双教师蒸馏，它把需要 50 步的自回归模型压到 4 步，在单卡 B200 上跑出 20.6 FPS，把"长时记忆 + 实时生成"这两件原本冲突的事在同一种机制里同时做到。

该关注的人是做具身仿真、可玩环境、虚拟漫游的开发者与研究者——它把"世界模型能不能记住自己生成过的世界"这件事往前推了一大步。但别被标题带节奏：它提升的是记忆与一致性，不是画质；代码是否开源、消费级硬件能否实时，都还要等。下一步最该盯的，是项目主页是否放出可复现的权重与脚本，以及社区在更长序列上的实测。