上个月,我拿新做的电话客服机器人给一个朋友打了个测试电话,让他随便问。问到一半他插了句"等等,我说的是退款不是退货",机器人顿都没顿,接着把退货流程从头念完。他不死心,又抢了两次话,两次都被当成没听见。挂电话前他在那头嘀咕:这玩意儿是不是聋。

我把当天的通话录音翻出来又听了一遍,那种感觉很难形容——两个人都在说话,但谁也没在听谁。后来跟同行聊起这事,发现这不是我一个人的尴尬:语音机器人哪怕答得再准,只要"不会被打断",用户对它的评价就上不去。延迟当然重要,但真正卡住语音产品的,是"接得住抢话"这件事。

它为什么会聋?这得从多数语音机器人现在的干法说起。主流方案叫级联管道:声音进来,先过 VAD(voice activity detection,人声活动检测,判断你有没有在说话),再交给 ASR(Automatic Speech Recognition,语音识别)转成文字,文字丢给大模型想答案,最后 TTS(Text-to-Speech,语音合成)把答案念出来——四个环节四个服务,串成一条线。这个架构好维护,每一段都能单独换、单独调,出了问题一眼能定位到哪一环。代价也明摆着:每过一关就攒一点延迟,整条链跑下来普遍要 1.2 到 2.4 秒,而人类对话里,你说完到我开口,间隔大概 300 毫秒。超出一秒,人就觉得对面在走神。

比慢更难受的,是这条流水线天生半双工:它念的时候,你的话它不收。我在客户项目里调过这个阈值——VAD 默认静音 800 毫秒就当你把话说完了,我压到 400,用户"我想想啊"刚出口就被机器人抢答;放宽到 1200,每一轮都像隔着一堵墙等对方点头。可问题偏偏出在,就算阈值调得刚好,抢话照样接不住:用户插话时 TTS 正在往外吐字,级联架构要先把合成掐掉,再把模型的中间状态清掉,再把监听重开——三步跨三个服务,任何一步状态没对齐,就成了俩人同时开口。行业管这个叫 barge-in(打断),级联时代它是个工程补丁,补得再勤也补不出"自然"两个字。

还有一层损失更隐蔽:文字是这条流水线的通用语言,而文字会把活人的语气全抹平。你着急时的"好的好的",和敷衍时的"好的",转成文字是同一行字。模型拿到的永远是一份删掉语气的台词本,它回给你的情绪,也只能靠 TTS 装出来。

去年到今年,这个局面被端到端语音模型掀了。思路很粗暴:既然四段串联每段都损耗、都攒延迟,那就砍掉中转,让音频直接进模型、语音直接出来。Grok Voice 3.0 十月中旬刚发布,把识别、理解、生成压进同一个网络,官方口径首响延迟压进一秒,比 GPT-Live-1 低了四成;字节四月的 Seeduplex 在中文场景把端到端延迟做到 320 毫秒,轻量版能到 182 毫秒,已经贴着人类对话的自然间隔。这类模型行话叫 S2S(speech-to-speech,语音到语音),它最大的变化不是快,是全双工成了内生能力:模型边听你说、边组织自己的话,它在"说"的同时耳朵没关——你插话,它自己判断是让位、是停半拍、还是等你说完再续上。GPT-Live-1 上线时把"打断、插话、沉默旁听"列成正式能力,NVIDIA 一月开源的 PersonaPlex 把说话人切换压到 70 毫秒,比 Gemini Live 快了近 18 倍。抢话这件事,从工程补丁变成了模型自己长出来的行为。

我自己最直观的体感是:换完模型,朋友那个测试电话重打了一遍,他插话,机器人会"嗯"一声停住,听他说完再接。就这一个"嗯",观感完全不一样了——像在对话,不像在对暗号。

先别急着把级联判死刑。端到端把四段揉成一团,代价是可观测性跟着没了:级联时代 ASR 错了看转写、模型歪了看 prompt(提示词),每段都有仪表盘;现在一锅端,答错了你只能对着整团黑盒猜。所以眼下的折中路线是混合架构——S2S 管听话和接话,关键推理还是丢给文本大模型。另外有一笔账要提前算清:厂商报的延迟全是模型侧的,Gemini Live 模型侧一半的请求能压在 320 毫秒,可音频在你设备和机房之间还得跑个来回,弱网下端到端照样回到 800 毫秒往上。选型时只看 benchmark(跑分)数字,上线照样被网络打回原形。

把时间往回拨一点,语音交互这十年一直在跟"像人"较劲,但过去较劲的是"听得清",接下来较劲的是"接得住"。我的判断是:识别精度今天已经不是分水岭了,打断、判停(分清用户是说完了还是在想词)、情绪接续这些"对话礼仪",才是未来一年语音 Agent 拉开差距的地方。模型把耳朵和嘴长到一起之后,剩下的问题,全是怎么把"礼貌"教给它。

你手头的语音产品现在卡在延迟,还是卡在打断?如果给你选:级联的可观测、好排查,和端到端的体验、会接话,你会押哪边?评论区聊聊你的账。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐