摘要：语音驱动身体动作生成是提升数字人交互表现力的重要基础。本文以《软件学报》在线发表的《基于分块自回归与局部扩散的语音驱动动作生成》为核心蓝本，系统解析了该论文提出的分块自回归与局部双向扩散混合生成框架。在此基础之上，本文进一步锚定启元机器人的生态定位，从语音-动作协同交互的角度，探讨了该技术对启元机器人多模态交互能力、Skill编排以及AtomGit开发者生态的技术启发。

本文关键词：语音驱动动作生成；分块建模；条件引导；温度采样；启元机器人

引

诸位技术同仁：

本系列将系统精读的方式，深入剖析计算机科学顶级期刊/会议论文，聚焦前沿突破的核心机理与工程实现。

通过严谨的学术剖析，解耦研究范式、技术方案及实证方法，揭示创新本质。我们重点关注理论-工程交汇点的技术跃迁，提炼可迁移的方法论锚点，助力诸位的技术实践与复杂问题攻坚，共推领域持续演进。

文献来源

DOI: 10.13328/j.cnki.jos.007757

软件学报（在线发表）

已标明出处，如有侵权请联系笔者。

一、引言——机器人说话时，身体该不该动？

1.1 一个被忽视的交互细节

想象一下这样的场景：你和启元机器人对话，问它"今天天气怎么样"。机器人用语音回答"今天晴天，气温25度，适合出门"。

这个回答本身没问题。但如果机器人只是站在那里一动不动地说话，整个交互体验就会显得生硬、机械。人类在说话时，身体会自然而然地配合——点头、手势、重心转移、姿态变化。这些非语言信号，是沟通的重要组成部分。

论文在引言中明确指出：生成与语音同步且自然连贯的身体动作是提升数字人交互表现力的重要基础。 这类任务在虚拟数字人、虚拟主播以及具身交互系统中具有重要应用价值。

注意最后一句话——“具身交互系统”。这正是启元机器人所处的领域。

1.2 语音驱动动作生成的两大难点

论文指出，语音驱动身体动作生成面临两个核心难点：

难点一：语音与动作之间不存在严格的一一对应关系

同一段语音可能对应多种合理动作，而相似动作也可能由不同语音表达触发。这使得模型需要处理跨模态映射中的不确定性与多样性。

难点二：人体动作序列具有明显的长时依赖特征

动作的整体姿态变化、节奏推进和局部肢体摆动需要在较长时间范围内保持协调一致。同时，语音驱动生成任务还要求模型刻画局部动态物理细节，例如手臂、手腕和躯干等部位的细粒度运动。

论文在1.1节中系统梳理了现有方法的两大流派及其局限：

从图中可以看到本文的整体框架：由聚合编码器、块级因果Transformer和局部双向扩散解码器三部分组成。动作序列被编码到潜在空间并划分为若干分块，每个分块经过聚合编码器压缩为块级表示，块级因果Transformer根据历史块表示和语音条件生成摘要向量，局部双向扩散解码器以摘要向量和最近历史分块为条件恢复连续动作细节。

1.3 现有方法的两难

自回归建模在长时序条件下逐步预测后续动作片段。这类方法能够较好地利用历史上下文，并在一定程度上保持动作序列的因果一致性。然而，对于高维连续动作信号，逐帧或逐片段生成容易使早期预测中的微小误差沿时间轴不断传播，导致模型在预测后期出现分布偏移，局部动作往往退化失真或失去自然度。

扩散生成通过逐步去噪重建复杂动作分布，在动作细节和样本多样性方面具有优势。然而，在整段长序列上直接进行连续的多步扩散采样，不仅会带来较高的计算复杂度和推理延迟，而且整体结构规划与局部细节恢复通常被统一交由同一扩散过程完成，缺乏明确的层次划分。

论文的核心洞察是：将长时序结构建模与局部细节恢复进行解耦。

1.4 本文脉络

本文以《基于分块自回归与局部扩散的语音驱动动作生成》为核心蓝本，系统拆解该论文提出的分块自回归与局部双向扩散混合生成框架。在此基础之上，本文从语音-动作协同交互的角度，探讨该技术对启元机器人多模态交互能力、Skill编排以及AtomGit开发者生态的技术启发。

二、基础地基——问题定义与技术背景

2.1 问题定义

论文将语音驱动动作生成任务定义为：给定输入语音 $s$，生成与节奏、语义和表达一致的人体动作序列。

具体而言：

• 语音通过语音编码器提取条件表示 $a$，包含与动作生成相关的节奏、语调和语义线索。
• 动作序列经VAE编码后的潜在词元序列为 $\mathbf{x}=(x_1,x_2,\dots ,x_N)$。
• 若直接对 $\mathbf{x}$ 进行逐词元自回归建模，其联合分布可写为：

$$p_{\theta }(\mathbf{x}|a)=\prod _{n=1}^N{p}_{\theta }(x_n|x_1,\dots ,x_{n-1},a)$$

该形式虽然具有清晰的因果结构，但序列长度较长，逐点建模容易造成冗余计算和误差传播。

2.2 核心思路：分块建模

论文的核心思路是将相邻潜在词元聚合为固定长度的分块，以分块作为自回归生成的基本单元。

具体而言，将 $\mathbf{x}$ 按长度为 $P$ 划分为 $M$ 个分块，记第 $i$ 个分块为 ${\mathbf{z}}_i=(x_{(i-1)P+1},\dots ,x_{iP})$。

本文将生成过程分解为块级结构规划和块内连续恢复两个阶段：

$$h_i\sim p_{{\theta }_{AR}}(h_i|{\mathbf{z}}_{\le i},a),{\mathbf{z}}_{i+1}\sim p_{{\theta }_{LD}}({\mathbf{z}}_{i+1}|h_i,{\mathcal{H}}_i)$$

其中 $h_i$ 为截至第 $i$ 个分块的摘要向量，${\mathcal{H}}_i$ 为最近历史分块。

2.3 扩散与流匹配基础

论文采用基于流匹配的连续时间生成表述。记 ${\mathbf{z}}_{i+1}$ 为待生成分块的真实潜在表示，$ϵ\sim \mathcal{N}(0,I)$ 为标准高斯噪声，则时刻 $t\in [0,1]$ 的带噪状态写为：

$${\mathbf{z}}_{i+1,t}={\alpha }_t{\mathbf{z}}_{i+1}+{\sigma }_tϵ=\cos \left(\frac{\pi t}{2}\right){\mathbf{z}}_{i+1}+\sin \left(\frac{\pi t}{2}\right)ϵ$$

与传统扩散模型直接预测噪声或干净样本不同，论文采用流匹配目标直接回归该路径对应的向量场。

三、核心技术深度拆解——分块自回归与局部扩散

3.1 聚合编码与块级因果建模

论文首先通过变分自编码器将动作序列映射到潜在空间，再进行分块处理。实现时，64帧动作被压缩为16帧潜在变量，潜在维度为64。

对于每个分块 ${\mathbf{z}}_i$，论文在其输入首部附加一个可学习聚合词元 $\mathbf{g}$。该词元的作用类似于块级汇聚标记，用于吸收当前分块内部所有潜在词元的信息。

由于分块内部的连续词元在时间上相邻，通常具有较强局部相关性，因此聚合编码器在块内采用双向注意力建模：

e i = ( E q ( { g ; z i } ) ) 0 \mathbf{e}_i = \left(E_q(\{\mathbf{g}; \mathbf{z}_i\})\right)_0 ei​=(Eq​({g;zi​}))0​

其中 $E_q$ 为聚合编码器， { g ; z i } \{\mathbf{g}; \mathbf{z}_i\} {g;zi​} 表示在分块序列前排接聚合词元，$(\cdot {)}_0$ 表示取输出序列的首位词元。

通过这种方式，原本长度为 $P$ 的局部连续词元被压缩为单个块级表示 ${\mathbf{e}}_i$，从而显著缩短后续因果自回归建模的有效序列长度。

得到所有历史分块的表示后，论文使用块级因果Transformer进行跨块建模：

$$h_i={\left(T_w({\mathbf{e}}_{\le i},a)\right)}_i$$

其中 $T_w$ 为块级因果Transformer，$a$ 为语音条件。由于该Transformer采用因果注意力，第 $i$ 个位置的输出只能访问当前及之前的分块表示，从而保证生成过程满足自回归顺序。

3.2 局部双向扩散解码

从图中可以看到CaMN、DisCo、EMAGE与本文方法MODA在相同语音输入下的定性对比结果。本文方法能够生成连续且具有语义表现力的全身动作，而CaMN和DisCo主要生成上半身动作。

对于待生成的第 $i+1$ 个分块，论文将局部双向扩散解码器记为LocFM。该模块以摘要向量 $h_i$、历史分块上下文 ${\mathcal{H}}_i$ 和带噪目标分块为输入，在目标分块内部恢复连续动作细节。

这里的"双向"仅指目标分块内部的双向注意力，即模型在生成某一分块时可以同时利用该分块内前后位置的带噪词元进行局部建模，而不是在整段时间轴上访问未来分块。因此，整体生成过程仍保持块级因果顺序。

引入历史分块上下文 ${\mathcal{H}}_i$ 的目的在于增强跨块连续性。若局部解码器仅依赖摘要向量 $h_i$，则生成下一分块时虽然能够获得块级语义和语音条件，但缺少对已生成动作局部动态状态的直接参考，容易在分块边界处产生姿态跳变或运动不连续。

局部双向扩散解码器的训练目标是最小化预测向量场与目标向量场之间的均方误差：

$$L_{FM}={\mathbb{E}}_{{\mathbf{z}}_{i+1},ϵ,t}\Vert {\nu }_{\theta }({\mathbf{z}}_{i+1,t},t|h_i,{\mathcal{H}}_i)-{\nu }_t{\Vert }_2^2$$

其中 ${\nu }_{\theta }(\cdot )$ 为局部双向扩散解码器预测的向量场。

3.3 基于自回归条件摘要的无分类器引导

块级因果Transformer输出的摘要向量 $h_i$ 是局部解码器的重要条件信息。若局部解码器过弱地依赖该摘要，则生成动作可能与语音节奏或语义约束不充分对齐；若条件约束过强，则可能抑制局部扩散模型的随机探索能力。

为在语音约束与生成多样性之间取得平衡，论文在局部扩散解码阶段引入无分类器引导策略。

训练阶段，以10%的概率将摘要向量 $h_i$ 替换为空向量，使同一个局部解码器在共享参数下同时学习摘要条件分支与摘要置空分支。

推理阶段，给定同一带噪状态，分别计算摘要条件下的向量场和摘要置空条件下的向量场，并按如下形式进行融合：

$${\tilde{\nu }}_{\theta }({\mathbf{z}}_{i+1,t},t|h_i,{\mathcal{H}}_i)=w{\nu }_{\theta }({\mathbf{z}}_{i+1,t},t|h_i,{\mathcal{H}}_i)-(w-1){\nu }_{\theta }({\mathbf{z}}_{i+1,t},t|0,{\mathcal{H}}_i)$$

其中 $w\ge 1$ 为引导强度。$w$ 控制局部解码器对自回归摘要的依赖程度。

3.4 基于温度控制的常微分方程采样

在连续动作生成任务中，采样策略直接影响动作的稳定性与多样性。论文引入温度参数 $\tau \in [0,1]$，将其定义为反向ODE采样过程中注入噪声的时间点。

• 当 $\tau =1$ 时，采样过程等价于标准随机初值采样，从高斯噪声端开始反向积分，生成结果具有较强随机性和多样性。
• 当 $\tau =0$ 时，不引入随机噪声，采样过程趋于确定性，生成结果更加稳定但多样性较弱。
• 当 $0<\tau <1$ 时，模型首先沿确定性轨迹获得当前干净样本估计，再在时间点 $\tau$ 按前向路径重新加噪。

四、实验验证与核心发现

4.1 数据集与评估指标

论文在BEAT2数据集上验证方法有效性。BEAT2由25位讲者的约60小时高质量动作捕捉数据组成，包含音频、文本以及对应的SMPL-X/FLAME参数。

论文采用三项指标进行定量评估：

• FGD：衡量生成动作与真实动作在特征空间中的整体分布差异，数值越小越好。
• BC：评估生成动作与输入语音之间的节奏同步程度，数值越大越好。
• Diversity：衡量同一语音条件下模型生成动作的多样性，数值越大越好。

4.2 与主流方法的对比

方法	FGD↓	BC↑	Diversity↑
S2G	28.15	4.68	35.97
Trimodal	12.41	5.93	37.72
HA2G	12.32	6.77	8.62
DisCo	9.41	6.43	9.91
CaMN	6.64	6.76	10.86
DiffStyleGesture	8.81	7.24	11.49
FineGesture	6.13	8.10	13.13
Habibie等	9.04	7.71	8.21
TalkSHOW	6.20	6.94	13.47
EMAGE	5.51	7.72	13.06
MODA（本文）	4.92	7.93	13.24

从表中可以看出，本文方法取得了所有对比方法中最低的FGD（4.925），同时BC达到7.932，Diversity为13.24。与EMAGE相比，本文方法将FGD由5.512降至4.925，并将BC由7.724提升至7.932。

4.3 消融实验

从图中可以看到：块大小为4时，FGD与BC综合表现最佳，说明该设置能够较好协调块级长程建模和块内细节恢复。

块大小	历史上下文数	FGD↓	BC↑
1	2	6.31	6.46
1	0	6.52	6.14
1	0	12.34	3.25
4	2	5.03	7.91
4	1	4.92	7.93
4	0	10.58	3.46

从表中可以看到：历史上下文显著影响生成质量与语音同步性。当块大小为4时，去除历史分块使FGD由4.925升至10.582，BC由7.932降至3.462；引入最近1段历史后恢复最佳结果，继续增加至2段则未带来进一步收益。

从图中可以看到：当NFE=10或25时，$w$由1增至3可同时降低FGD并提高BC，继续增大$w$后收益趋于饱和；当NFE=5时，$w=2$虽提高了BC，但FGD已略有上升，继续增大$w$则整体性能明显下降。

从图中可以看到：随着$\tau$增大，采样过程引入的随机性增强，动作多样性随之提高；反之，当$\tau$较小时，模型更接近确定性生成，能够获得更稳定的动作序列。

4.4 推理效率分析

块大小 P	NFE	实际ODE函数评估次数	平均耗时/ms	实时因子
1	10	750	8438.2	0.844
2	10	380	4322.3	0.432
4	10	190	2206.5	0.221
8	10	100	1201.1	0.120

块大小 P	NFE	实际ODE函数评估次数	平均耗时/ms	实时因子
4	5	95	1303.9	0.130
4	10	190	2206.5	0.221
4	25	475	4854.7	0.485

从表中可以看到：块大小从1增至8时，实际ODE函数评估次数由750次降至100次，平均耗时由8438.2ms降至1201.1ms，实时因子由0.844降至0.120。NFE从5增至25时，平均耗时由1303.9ms增至4854.7ms。

五、启元生态专属锚定与展望

5.1 启元机器人的语音-动作协同交互需求

启元机器人作为一款面向真实场景的具身智能体，其核心能力之一是自然的人机交互。用户对机器人说话时，机器人不仅要听懂内容，还要用语音和身体动作进行回应。

先看启元官方开发者社区的定位：

从这张截图能看到，启元的愿景是"把机器人带进每一个真实场景"，并且强调"说出需求，我来为你完成"。这句话背后有一个很现实的交互问题：机器人要"说出需求"并"完成"任务，语音和动作的配合至关重要。

语音驱动动作生成技术对启元机器人的核心价值：

• 交互自然度提升：机器人在对话过程中，身体动作配合语音节奏，交互体验更自然。
• 语义表达增强：手势和姿态可以增强语义表达，比如说到"那边"时配合指向动作。
• 情感表达丰富：身体动作可以传递情感，比如点头表示同意、摇头表示否定。

5.2 从Skill开发看语音-动作协同的工程价值

启元的Skill开发工具链，本质上是将机器人的原子能力封装为可复用的技能模块。语音-动作协同技术对Skill开发的增益体现在：

（1）多模态Skill封装

将"语音+动作"作为一个复合Skill封装，开发者可以快速为机器人添加"边说边动"的能力。

（2）动作生成模块化

论文的分块自回归+局部扩散框架，可以封装为动作生成模块，供开发者调用。

（3）交互场景适配

通过温度采样参数调节，可以在"稳定同步输出"和"丰富动作变化"之间连续权衡，适应不同交互场景。

5.3 启元AtomGit社区与语音-动作协同生态

再看启元在AtomGit上的开源布局：

从这张截图能看到，启元已经明确表示"我们将技能（Skills）、SDK与工具链开源于AtomGit"。语音驱动动作生成作为一项交互能力，完全可以在AtomGit上构建以下模块：

模块	内容	对应论文技术
语音编码库	语音特征提取、节奏语调分析	2.1节
分块自回归模块	块级因果Transformer、聚合编码	2.2节
局部扩散解码模块	流匹配、双向注意力	2.3节
条件引导模块	无分类器引导、摘要条件控制	2.4节
温度采样模块	ODE采样、随机性控制	2.5节

5.4 从数字人到真实机器人的迁移挑战

论文在结论部分提到：未来工作将从泛化能力、分块策略和推理效率三个方面进一步完善方法。

从数字人动作生成到真实机器人控制，还存在一些迁移挑战：

• 自由度差异：数字人动作是连续的高维姿态序列，机器人动作需要转换为关节角度和力矩指令。
• 物理约束：数字人动作不需要考虑物理约束，机器人动作需要满足动力学和运动学约束。
• 安全性：机器人动作需要避免自碰撞和环境碰撞，数字人动作不需要考虑这些。

但论文的核心思路——分块自回归+局部扩散——是可迁移的。将"数字人动作序列"换成"机器人关节轨迹序列"，将"语音条件"换成"语音+任务指令"，这套框架理论上可以用于生成机器人的语音-动作协同行为。

六、总结与展望

本文以《基于分块自回归与局部扩散的语音驱动动作生成》为核心蓝本，系统拆解了该论文提出的混合生成框架：

• 问题定义：语音驱动动作生成需要同时维持语音-动作同步、全局动作连贯性和局部动作真实感。
• 核心思路：将长时序结构建模与局部细节恢复解耦为"块间因果自回归 + 块内局部扩散重建"。
• 关键技术：聚合编码、块级因果Transformer、局部双向扩散解码、无分类器引导、温度控制ODE采样。
• 核心发现：在BEAT2数据集上FGD达到4.925，BC达到7.932，推理实时因子低至0.120。

在此基础之上，本文从语音-动作协同交互的角度，探讨了：

• 语音驱动动作生成技术对启元机器人交互自然度、语义表达、情感表达的价值。
• AtomGit社区如何构建语音-动作协同生态模块。
• 从数字人动作生成到真实机器人控制的迁移挑战。

语音驱动动作生成，不仅是数字人交互的技术手段，更是启元机器人从"能说话"走向"能边说边动"的关键技术支撑。

尾

本期技术解构至此。

论文揭示的方法论范式对跨领域技术实践具有普适参考价值。下期将聚焦其他前沿成果，深入剖析其的突破路径。敬请持续关注，共同深挖工程实现脉络，淬炼创新底层逻辑，在学术与工程融合中洞见技术演进规律，推动领域范式持续进化。