只听声音不学文字：Block 的 Dessa 模型，正在挑战语音 AI 的底层范式

16kHz 采样的音频，一秒钟就是 16000 个采样点——这就是为什么几乎所有团队都绕开了纯语音训练，而 Block 旗下的 Dessa 偏偏一头扎了进去。他们发布了一个完全跳过文字、直接从原始语音到语音训练的对话模型。这条路，OpenAI、Google 都曾绕开，Dessa 却走了进去。## 一、级联管线的三宗罪先看主流架构。无论是智能音箱、客服机器人还是 ChatGPT 的语音模式，底层基本都是同一条级联管线（Cascade）：> 用户语音 → ASR（语音转文字）→ LLM（文字推理）→ TTS（文字转语音）→ 回复成熟、可控、易调试，但代价同样清晰，一共三条：1. 信息丢失：语气、情绪、停顿、方言口音，在转成文字的那一刻全部被抹掉；2. 延迟累积：三个模型串联，每一环都要等待上一环完成；3. 错误传播：ASR 识别错一个词，后面的 LLM 就会答非所问。Dessa 走的是 Speech-to-Speech（S2S）原生路线：让模型直接在连续的语音表征上学习和生成，文字根本不存在于训练管线中。这不是工程细节优化，是一次范式挑战。## 二、纯语音训练难在哪：RVQ 分层 token难点在语音信号的连续性和长度。文字是离散 token，一句话不过几十个符号；而 16kHz 音频直接在原始波形上训练，序列长度会爆炸。业界通用解法是把音频量化成离散 token（如 Google 的 SoundStream、Meta 的 EnCodec），典型用 RVQ（残差向量量化）编码器处理：pythonimport torchaudio# 语音 → 离散 token 的典型流程（类似 EnCodec/SoundStream）wav, sr = torchaudio.load("user_utterance.wav")wav = torchaudio.functional.resample(wav, sr, 24000)codec = torchaudio.models.HuBERTPretrainModel(hparams=None) # 示意# 实际中常用 RVQ 编码器，输出多层 token：# codes.shape = [num_codebooks, seq_len]# codes[0] → 语义层：模型主要在这一层学习"对话逻辑"# codes[1:] → 声学层：负责音色、韵律、副语言信息关键在于语音 token 的分层结构：低码本层承载语义（“说什么”），高码本层承载声学细节（“谁在说”、“用什么情绪说”）。没有文字作“锚点”，模型必须完全靠语音信号学会对话结构——什么时候轮到你说话、对方是陈述句还是疑问句、要事实性回答还是情感安抚。相当于让一个孩子不听任何语言讲解，纯靠“听”学会对话。Dessa 的研究表明，在大规模语音语料 + 高容量 Transformer 的组合下，模型确实能从语音 token 中自发学到这种对话结构。这与 Meta 的 Spirit-LM、Kyutai 的 Moshi、OpenAI 未公开细节的实时语音模型方向一致——但 Dessa 强调的是完全不含文本监督的极端版本。推理循环可以这样抽象：pythonclass PureSpeechDialogueModel: """纯语音对话模型的推理循环（示意）""" def listen_and_respond(self, audio_stream): # 1. 流式编码：音频 → 多层离散 token codes = self.codec.encode_streaming(audio_stream) # 2. 在语音 token 空间中直接自回归生成 # 无 ASR、无文本、无 TTS for semantic_tokens in self.transformer.generate_stream( codes, # 关键：同时预测语义层和声学层 token， # 语义层决定"说什么"，声学层决定"怎么说" split_predict_heads=("semantic", "acoustic"), ): # 3. 流式解码回音频，实现 <300ms 级响应 yield self.codec.decode_streaming(semantic_tokens)延迟可压至数百毫秒，同时保留情绪、口音、停顿这些副语言信息。还有一个容易被忽视的价值：对文盲和低文字素养人群的包容性。Jack Dorsey 多次表达过对“以语音优先”服务全球用户（尤其是美国本土服务不足群体）的兴趣，而 Block 的客户正是大量小微商户——他们中很多人更习惯“说话”而非“打字”。## 三、Dessa 的来路Dessa 并非无名之辈。这家多伦多公司 2019 年公开演示了接近实时克隆人声的系统（对应 Corentin Jemine 的开源项目），效果震惊业界，随后被 Square（现 Block）收购，研究方向转向金融科技场景下的语音交互。轨迹很清晰：语音克隆 → 语音生成 → 语音对话。纯语音对话模型，是这条路线的自然终点——也是起点。## 四、冷思考：三个天花板泼点冷水，这条路线当前有三个现实问题：1. 事实性推理仍是软肋。 人类知识积累高度依赖文字，纯语音模型绕开文字，等于主动放弃人类最大的知识宝库。除非未来用语音-文本联合蒸馏补课——但那就不算“纯语音”了。2. 评测困难。 没有文字转写，如何量化评估回答质量？业界连 S2S 模型的标准 benchmark 都尚未统一，Dessa 模型的实际效果仍需更多公开数据支撑。3. 可控性代价。 级联系统可以在 LLM 层插入 RAG、安全过滤、合规检查；纯语音模型里这些都是黑箱内部的隐式行为。对需要处理金融业务的 Block 来说，合规审计是个现实挑战。【配图建议：级联管线与原生 S2S 架构的对比示意图】## 五、给开发者的实践建议- 如果你在做语音交互原型，级联管线仍是事实性与可控性更强的选择，各环节独立可调试、可解释；- 如果目标是低延迟、自然情感交互，值得实验 RVQ 分层 token 思路：语义层主攻对话逻辑，声学层负责音色与韵律，torchaudio 提供的 HuBERT/编码器工具链可以作为起步；- 在金融、医疗等强合规场景，先想清楚黑箱模型的审计方案再上端到端。但方向本身无疑是正确的终局：人类对话本来就不经过文字。Dessa 的价值在于，它证明了一条最“纯粹”的路径是走得通的。语音 AI 的下一个五年，可能就取决于今天有多少团队敢走这条没有文字的路——你现在就可以从上面那段 token 分层代码开始动手验证。—来源：Hacker News（原帖：Dessa: Conversation Model trained only on speech，链接：https://block.xyz/dessa）；Dessa 历史研究（Real-Time Voice Cloning 复现，2019）；相关技术参考：Meta Spirit-LM、Kyutai Moshi、Google SoundStream原文：https://www.rainbowonionai.cn/dessa-conversation-model-trained-only-on-speech.html