前言

对机器人说一句“查询电量”,语音识别(ASR)先把听到的话变成文字,程序再按文本挑选业务功能。麻烦在于,识别结果是一条一条送来的。你可能先收到“查询电”,过一会儿才收到完整的“查询电量”,同一句话还可能重复送达。要是不加判断,来一条处理一条,同一次电量查询就会被执行好几遍。

这篇文章就用 T1 Pro 的 SDK 写一个ASR 消息过滤器,只认最终文本,去掉重复结果,再检查置信度,最后做整句指令匹配。程序输出 battery_query 这类“意图标识”,它是程序内部的指令类别,不会直接让机器人动作。

语音事件处理流程示意图

图 1|语音事件从 ROS 2 订阅到意图输出的处理过程,依次经过最终结果判断、去重、置信度过滤和整句匹配。此图为程序逻辑示意。

1. 先找到 ASR 话题,读懂五个字段

ROS 2 里,话题(Topic)像一个不停发消息的频道,程序订阅它,新消息就会一条条送过来。T1 Pro 的 ASR 结果挂在 /aima/agent/asr_result 这个话题上,消息类型是 aimdk_msgs/msg/AsrResult。和这条话题打交道,主要就在下面五个字段上。

字段含义本例怎么用
text当前识别的文本只在内存中做整句匹配,不写入日志
event_id一次事件的关联标识对最终结果做幂等去重
is_final当前是否为最终结果false 先观察;true 才进入判断
confidence识别置信度 0~1低于业务阈值则不形成意图
language语言标签只做元数据统计,不推断准确率

is_final 这里有个容易误会的地方。它只表示这轮识别结束了,这句话允不允许触发功能,要由后面的指令规则说了算。

动手之前,先确认真机接口。 我在 Windows 开发电脑上用 ROS 2 Humble 和 Fast DDS 找到了 ASR 发布节点 aimrt_agent_node。11 月 4 日操作期间连续监听 600.08 秒,ASR 发布者始终可见,识别消息却一条都没来;同一时段电池管理系统(BMS)倒是收到了 600 条。

音频设备本身的状态我也顺手查了一下。设备列表话题在 12.12 秒里送来 12 条消息,内置麦克风和扬声器都处于选中状态。这组证据说明 PC 与机器人通信正常、音频设备被系统识别,只是 ASR 话题在整个观察窗口内没有返回识别文本。

真机话题检查结果

图 2|真机检查结果,ASR 0 条、BMS 600 条、音频设备列表 12 条。音频设备在线与识别结果正常输出是两个不同阶段。

2. 同一句话收到三条消息,应该处理哪条?

先拿三条离线模拟消息把过程走一遍。

事件 a1  is_final=false  text=查询电
事件 a1  is_final=true   text=查询电量
事件 a1  is_final=true   text=查询电量(重复到达)

目标是三条消息只产生一次业务事件。第一条是中间结果,不碰;第二条才是完整句子,进入判断;第三条和第二条一模一样,event_id 已经处理过,直接忽略。第 4 节的本地测试用的也是同类模拟输入。

asr_gate.py 的入口逻辑,开头就是三道检查。

if not event.is_final:
    return GateDecision("partial_ignored")
if not event.event_id.strip():
    return GateDecision("missing_event_id")
if event.event_id in self._seen:
    return GateDecision("duplicate_final")

程序用 Python 的 OrderedDict 暂存处理过的事件 ID,默认最多留 512 个,免得缓存无限增长。去重只在内存里做,事件 ID 和识别文本都不会写进日志。

3. 再加上置信度与整句白名单

过了终态判断和去重这两关,后面还有两道业务过滤。

第一道是置信度。 阈值我设在 0.75,低于它的最终结果不形成意图。0.75 只是本文的演示值,正式应用最好结合现场语音测试再调。

第二道是整句白名单。 目前白名单里只放了三句话。

用户说的话只读业务意图
查询电量 / 查看电量 / 现在电量多少battery_query
帮助 / 查看帮助help
退出监听exit_listener

程序先把空白符和常见中英文标点剥掉,再做完整字符串匹配。像“查询电量然后向前走”这样的句子,虽然里面包含“查询电量”四个字,也不会被接收。

clean = normalize_text(event.text)
intent = INTENTS.get(clean)
return GateDecision(
    "allowed" if intent else "unknown_intent", intent
)

命中 battery_query 之后,程序交出来的也只是一个意图名称,不会直接操作机器人。把“听到了什么”和“接下来执行什么”分开,哪一环出问题,调试时一眼就能看出来。

单句语音事件判定路径图

图 3|单句语音事件的判定路径。部分结果、重复事件、低置信度和非白名单整句各有独立结果,不会直接变成控制指令。

asr_gate.py 源码节选

图 4|asr_gate.py 源码节选,依次处理最终结果、事件 ID、置信度和意图匹配。代码截图带着原始文件行号,可以和仓库里的 asr_gate.py 对照着看。

4. 用八条模拟消息检查过滤规则

为了让同一组输入可以反复运行,我先准备了 8 个合成事件,中间结果、最终结果、重复结果、低置信度、复杂语句、空事件 ID 都覆盖到了。

实际执行就一条命令。

python asr_gate.py --mock

统计结果如下。

处理结果条数
部分结果忽略 partial_ignored1
白名单命中 allowed3
重复最终事件 duplicate_final1
未支持的整句 unknown_intent1
低置信度 low_confidence1
缺失事件标识 missing_event_id1
总输入数8

整个示例仓库的 77 项单元测试全部通过,ASR 新增的用例把置信度、文本长度、终态重复、缓存上限、多指令串联这些情况都测到了。

八条模拟消息判定统计

图 5|8 条离线模拟输入的判定统计。它量的是程序过滤逻辑,识别准确率得靠另外的测试。

python asr_gate.py --mock 运行输出

图 6|实际执行 python asr_gate.py --mock 的标准输出,八条离线样本里三条命中白名单、一条被去重,完整输出文本也保存在配套文件中。

5. 怎样使用真实 ROS 2 话题进行只读监听?

第 4 节的离线测试验证了程序对中间结果、重复事件和未知指令的处理。电脑上配好 ROS 2 Humble、Fast DDS 和官方 aimdk_msgs 消息包,同一份程序就能直接订阅机器人话题。

python asr_gate.py --live --seconds 18

这条命令监听 18 秒,只输出事件类别、判定结果和意图名称,不保存原始转写,也不发送机器人运动或语音播报请求。

这里要把话说在前头。已保存的真机日志显示,ASR 话题与麦克风均被系统识别,600 秒内 ASR 消息是 0 条。所以本文交出来的是真机接口发现和离线消息处理,真实语音转写成功的案例暂时还没有。

6. 一句话只处理一次,关键就在这里

折腾这段 ASR 代码时我最大的体会是,比起多写几个关键词,什么时候才把一段识别文本当成可处理的指令更容易被忽略。ASR 会反复更新同一句话,所以检查顺序得讲究,先看 is_final,再按 event_id 去重,最后才轮到置信度和整句白名单。

八条离线输入把这些情况都覆盖到了。中间结果直接跳过,重复的最终结果只算一次,白名单之外的句子不生成意图。代码里每个判断都有自己的返回状态,哪一步没通过,看一眼返回值就能定位。

对正在写机器人语音交互的开发者来说,这套做法的好处很实在,识别归识别,业务执行归业务执行。入口处的消息先整理干净,后面的电量查询、帮助提示这些功能才接得清楚。

参考资料

[1] PrimeBot T1 SDK 官方仓库

[2] 官方接口说明(ASR 语音识别结果)

[3] ROS 2 Humble 文档

本文代码

  • ASR 过滤器 asr_gate.py,处理 is_final、event_id 去重、置信度和整句白名单。
  • 配套单元测试 tests/test_asr_gate.py,测中间结果、重复最终事件、置信度阈值和异常输入。

启元机器人开发者社区 可以查看更多 SDK 与开发案例。

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐