BES2800接入VPU数据获取方法
BES2800接入VPU数据获取方法
0 原理解析
0.1 区别
普通麦克风(环境麦克风):是“耳朵”,用于听清整个世界。
VPU麦克风(语音拾音单元):是“紧贴声带的收音器”,用于只听清你的声音

图 0-1 流程图
0.2 对比

表0-2 对比表
0.3 VPU麦克风的核心功能与作用
在您的8路音频系统中,VPU的核心作用可以总结为:提供一条纯净、高信噪比的“近场语音基线”。
1. 提供纯净的近场语音参考
◦ 问题:您的5个普通麦克风采集的是混合信号(您的语音 + 环境噪音 + 音乐回声 + 风声)。在嘈杂环境中,您的语音可能被淹没。
◦ 解决方案:VPU信号几乎只包含您的语音。算法可以将VPU信号作为一个“干净模板”,去指导系统从5路混合信号中分离和增强您的语音,极大提升语音唤醒(KWS)和语音识别(ASR)的准确率。
2. 实现强悍的主动降噪与风噪抵御
◦ 降噪:在 ANC(主动降噪)通话中,VPU可以直接提供需要保留的语音,让算法能更激进地抑制背景噪音,而不用担心把使用者的声音也消除掉。
◦ 抗风噪:这是VPU的杀手级应用。在骑行、跑步等场景,普通麦克风因风噪完全失效时,VPU仍能提供清晰的通话语音。
3. 与参考音信号协同,完成高级声学处理
◦ 在您构建的系统中,PA参考音提供了“系统播放了什么”的信息,用于消除回声。
◦ VPU则提供了“使用者说了什么”的信息,用于抑制环境噪音和风声。
◦ 两者结合,算法就能实现:最终输出 = 5路混合信号 - PA参考音(消除回声) + VPU引导的语音增强(提升人声),得到干净的人声。
1 原 5mic 设计

图1-1 引脚映射

图1-2 PDM时钟与数据线

图1-3 mic供电
2 PDM0 PDM1 PDM2分配

图2-1 PDM0 2路

图2-2 PDM1 2路

图2-3 PDM2 1路
3 VPU 选择
3.1 使用 PDM2
PDM0 1 2 已被使用,因此 VPU应该选择PDM3,没有PDM3, 使用PDM2,不同型号mic的时序可能有不同步风险
3.2该使用模拟VPU

图2-1 模拟mic口
4 模拟MIC 数据获取方法?
DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐

所有评论(0)