1. Wan-Streamer v0.1

基础信息

• 题目：Wan-Streamer v0.1: End-to-end Real-time Interactive Foundation Models
• 时间：2026年6月
• 机构：阿里巴巴集团 (Alibaba Group)
• 关键词：Real-time Interaction, End-to-end, Audio-Visual

一句话总结

作者为了解决现有AI数字人反应慢、像“机器人”的问题，提出了一个名为 Wan-Streamer 的原生流式模型，它能在一个 Transformer 里同时处理音视频的输入输出，实现了约550毫秒的超低延迟全双工交互。

为什么要做

现有的AI交互系统通常由语音识别、大模型、语音合成、视频生成等多个模块拼接而成，这种“流水线”模式不仅累积了延迟，还导致各模块间配合生硬。这个问题值得解决，因为真正自然的交流需要像人类一样“边听边看边反应”，而不是等对方说完才开始处理。

做了什么

作者设计了一个端到端的模型，把用户的语音、画面和AI的回复都看作同一个连续的数据流。

• 核心处理：模型内部没有复杂的模块切换，而是利用 Diffusion 和因果注意力机制，让AI在接收用户输入的同时，实时生成包含表情、口型和语音的回复。
• 实质区别：不同于传统方法“先想后说”，Wan-Streamer 是“边听边演”，能在说话的同时保持眼神交流和肢体动作，实现了真正的视听同步。

结果如何

1. 速度极快：模型自身的响应延迟仅约 200毫秒，加上网络传输的总交互延迟约 550毫秒，达到了亚秒级的实时交互水平。
2. 表现自然：实验证明，该模型不仅能流畅对话，还能在倾听时做出点头、眼神跟随等自然的非语言反馈，且支持随时打断。

最后记住

这篇论文最大的贡献是证明了用一个统一的模型就能搞定实时的音视频交互，不再需要繁琐的模块拼接。目前的局限是生成的视频分辨率还较低（192p），但这为未来开发真正“活”的数字人指明了方向，值得精读其架构设计思路。

2. Wan-Streamer v0.2

基础信息

题目：Wan-Streamer v0.2: Higher Resolution, Same Latency
时间：2026年7月
机构：阿里巴巴集团 (Alibaba Group)
关键词：Real-time Interaction, Video Generation, Context Parallelism

一句话总结

作者为了解决实时视频对话中“画质提升导致延迟增加”的难题，提出了一种将计算任务拆分为“思考者”和“执行者”的并行处理方法，在将视频清晰度提升9倍的同时，保持了约200毫秒的超低模型延迟。

为什么要做

现有的实时数字人（如v0.1版本）虽然反应快，但输出画质太低（192×336），只能看清脸，无法看清肢体动作和周围环境，限制了交互的真实感。要在不增加用户等待时间的前提下提升画质，需要解决高分辨率视频生成带来的巨大计算量问题。

做了什么

作者设计了一种“分工合作”的部署架构：

1. Thinker（思考者）：由单张GPU负责，处理所有输入（听和看），快速更新状态并生成关键指令（K/V cache），保证反应速度。
2. Performer（执行者）：由多张GPU组成，专门负责繁重的“画画”工作（高分辨率视频生成）。
   核心区别：它利用Ulysses并行技术，将长视频序列切分给多个GPU同时计算，而音频等短序列仍由单卡处理，实现了“大脑”和“画笔”的解耦，让算力集中在最耗时的视觉生成上。

结果如何

1. 画质飞跃：输出分辨率从192×336提升至640×368，不仅面部更清晰，还能看清手势、姿态和背景物体。
2. 延迟不变：模型端信号到信号的延迟保持在约200毫秒，加上网络传输的总交互延迟约为550毫秒，与低画质版本持平。
3. 证据：实验证明了该架构在维持实时交互节奏（25 FPS）的同时，成功承载了高分辨率生成的计算负载。

最后记住

这篇论文最值得记住的是它通过计算任务的拆分与并行（Thinker-Performer），打破了画质与速度的互斥关系。局限在于它主要优化了服务部署架构而非基础模型算法。对于关注实时数字人或视频生成工程落地的人来说，非常值得精读。

3. X-Streamer

基础信息

• 题目：X-Streamer: Unified Human World Modeling with Audiovisual Interaction
• 时间：2025年9月
• 机构：字节跳动 (ByteDance)
• 关键词：Digital Human, Multimodal Generation, Real-time Streaming

一句话总结

作者为了解决数字人难以进行长时间、实时且多模态（文本、语音、视频）互动的问题，提出了X-Streamer框架，实现了仅需一张照片就能驱动数字人进行无限时长的实时音视频对话。

为什么要做

现有的数字人系统通常是“拼凑”的，即分别用不同的模型处理对话、语音和画面，导致反应慢、口型对不上，且很难长时间保持画面不崩坏。解决这个问题能让虚拟人真正像真人一样在直播、教育等场景中实时互动。

做了什么

作者设计了一个“思考者-行动者” (Thinker-Actor) 的双层架构：

1. Thinker：基于预训练的LLM，负责“听懂”用户的语音或文字，进行思考和推理。
2. Actor：负责“表演”，将Thinker的思考结果实时转化为同步的语音、文本和面部视频。
   实质区别：它不是把视频生成和语音生成分开做，而是用一个统一的模型同时生成所有模态，并采用“分块扩散”技术，解决了视频生成中常见的画面闪烁和身份漂移问题，实现了真正的流式输出。

结果如何

1. 实时性：模型能在两张A100显卡上实现25fps的实时生成，支持无限时长的对话。
2. 稳定性：实验证明，在长达数分钟甚至数小时的对话中，数字人的长相（ID）和说话风格能保持高度一致，没有出现明显的画面崩坏或身份改变。
3. 效果：在口型同步和画面清晰度上优于现有的音频驱动说话方法（如SadTalker, JoyVasa）。

最后记住

这篇论文的核心贡献是打通了“大脑”（LLM）和“脸”（视频生成），让数字人不仅能聊得久，还能长得像、动得真。主要局限是目前的训练数据仅限于“大头照”视频，对全身动作或复杂场景的支持还比较有限。如果你对实时虚拟人交互感兴趣，这篇非常值得精读。

4. OmniHuman-1.5

基础信息

• 题目：OmniHuman-1.5: Instilling an Active Mind in Avatars via Cognitive Simulation
• 时间：2025年8月
• 机构：ByteDance (字节跳动)
• 关键词：Video Avatar, Multimodal LLM, Diffusion Transformer

一句话总结

为了解决现有数字人动作机械、缺乏逻辑的问题，作者提出了OmniHuman-1.5，通过引入LLM进行“思考”规划，让生成的视频动作不仅对口型，还能理解语义和情绪，在用户主观评测中表现优于现有主流模型。

为什么要做

现有的音频驱动视频生成模型（如OmniHuman-1）通常只是机械地将声音映射为动作（类似“条件反射”），导致生成的动作重复、单调，且缺乏与说话内容的深层语义关联（比如说到“看那边”时不会转头）。解决这个问题能让数字人看起来更像真人，具备“思考”能力。

做了什么

作者模仿人类大脑的“双系统”理论设计了一个新框架：

1. 系统2（思考）：利用多模态LLM作为“大脑”，先分析音频和图像，生成一段包含情绪、意图和动作计划的文本描述（即“思维链”），作为高层指导。
2. 系统1（反应）：设计了一个多模态Diffusion Transformer，将上述文本指导与音频特征融合。它采用对称的分支结构处理不同信号，并用“伪末帧”技术来保持人物长相一致，最终生成既符合声音节奏又符合语义逻辑的视频。

结果如何

1. 用户更爱看：在主观评测中，33%的用户首选该方法生成的视频，显著高于OmniHuman-1（22%）和其他竞品。
2. 动作更自然：用户研究数据显示，该模型生成的动作不自然率（MU）显著降低，证明加入“思考”环节确实让动作更合理了。

最后记住

这篇论文的核心贡献是证明了用LLM做高层语义规划可以有效解决视频生成中动作僵硬、缺乏逻辑的问题。主要局限在于引入了LLM推理步骤，计算开销可能较大。对于关注数字人逻辑性和表现力的研究者，这篇论文非常值得精读。

5. LPM 1.0: Video-based Character Performance Model

基础信息

题目： LPM 1.0: Video-based Character Performance Model
时间： 2026年
机构： 米哈游
关键词： Video Generation, Conversational Agent, Diffusion Transformer

一句话总结

作者为了解决虚拟角色在实时对话中“表情僵硬、反应迟钝、长时间生成会崩坏”的问题，提出了 LPM 1.0，这是一个能同时处理“说话”和“听话”状态的实时视频生成模型，实现了高质量的无限时长对话交互。

为什么要做

现有的视频生成模型面临一个“不可能三角”：要么画质好但速度慢（无法实时），要么速度快但表情僵硬，要么长时间生成后角色长相会变形。此外，现有模型大多只懂“说话”（对口型），不懂“听话”（根据对方的话做出点头、眼神交流等反应），无法胜任真正的双向对话。

做了什么

作者构建了一个包含“说话”和“听话”行为的大规模数据集，并训练了一个 17B 参数的 Diffusion Transformer (Base LPM)。
核心在于它采用了“交错注入”机制，让模型能同时理解两路音频：一路是自己说的（驱动嘴型），一路是对方说的（驱动点头、眼神等反应）。
为了实现实时交互，作者又通过蒸馏技术将其压缩为 Online LPM，采用“主干+精修”的流式架构，在保持低延迟的同时，利用多张参考图（Reference Images）确保角色在长时间对话中长相不走样。

结果如何

在 LPM-Bench 基准测试中，LPM 1.0 在人类偏好评估中显著优于 Kling-Avatar-2 和 OmniHuman-1.5 等竞品（例如 64.3% vs 24.4%）。实验证明它能实现无限时长的稳定生成，且“听话”时的微表情和反应比现有模型更自然。

最后记住

这篇论文最大的贡献是把虚拟人从单纯的“对口型播放器”变成了真正懂互动的“对话者”，解决了实时性和长时稳定性的矛盾。
局限在于目前主要局限于单人面对镜头的场景，缺乏对复杂环境交互、多人同框以及长时记忆的支持。