服务机器人怎么听懂人话?机器人对话方案
餐厅里,机器人端着餐盘停在桌边,你说一句麻烦放这儿,它盯着你看,又问一遍您说什么。这种场面见得多了,卡点往往在更早的地方,那一声没把它叫醒,或者被后厨的碗筷声拽跑了。
该方案把唤醒、识别、对话、执行四件事收进一颗WT2606A,机器人不必先联网等云端反应,本地就能应一声我在。这是服务机器人听懂人话的起点。下面按一次完整对话的先后顺序拆开讲。

一 离线唤醒 先让机器人听得见
服务机器人待机时不能一直全功率收音,那样功耗和误触发都扛不住。该方案支持离线唤醒,唤醒词在本地跑,不联网也能响应。你喊一声它的名字,芯片上的KWS先把这一声拦下来,再决定后面的话要不要往下送。
环境是绕不开的一关。餐厅有碗筷声,展厅有背景音乐,酒店大堂有回声。芯片端侧原生跑DOA声源定位、AEC回声消除、NS噪声抑制、AGC自动增益控制、VAD人声检测这一整条链路。人声从哪个方向来先定个位,回声和稳态噪声压下去,再把说话人的声音挑出来。唤醒判断建立在这条链路的输出上,误唤醒自然就少。

二 离在线识别 词条还能在线改
唤醒之后才轮到听懂。该方案支持离在线语音识别,离线部分管本地命令词,词条有限但响应快,断网也照跑;在线部分接云端,处理开放问法和复杂表述。
做出口机型的团队对这段最有感触。该方案支持51国语种和23种国内方言切换,词条可以在线修改、自动下发,不用在本地重新训练。以前改一个词条要重新烧录固件,现在APP上改完直接推下去。
回复音也能自己定。APP里做TTS、传录音、上传本地音频,都能变成专属化词条,机器人说自己品牌的口头禅,不用再等厂商排期。识别出来之后怎么控设备,该方案留了离线UART串口对接协议,开发者MCU拿到指令直接去控灯控、屏显、电机这些本地外设。识别和控制各管各的,改控制逻辑碰不到识别固件。

三 接上大模型 对话丝滑流畅
命令词解决的是一问一答,用户跳出命令词以后的对话就无法继续。WT2606A方案的AI对话支持语音打断唤醒,用户说到一半它也能插话,流媒体上传和播放下载都通,还支持按键打断和音量调节。开放API接口,能接大模型。
现成技能里有角色创建、对话、天气、故事、新闻,还有自定义企业知识库。做商场导购的机器人,把楼层品牌和促销活动灌进企业知识库,问哪个牌子在哪层就能直接答。天气那块按经纬度取所在地,用户不用报城市名。
四 一句提醒
挂FLASH的时候用原厂配套的型号,其他家的不能保证正常工作。画板时把150mil和208mil两种尺寸兼容画上,备货会松快很多。固件升级走U盘,建议预留USB接口。
唤醒、识别、对话、执行这四段接力收在WT2606A一颗芯片上。想看具体词条方案和控制逻辑怎么配,找原厂拿资料就行。
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)