BES2800接入VPU数据获取方法

 

0 原理解析

 

0.1 区别

普通麦克风(环境麦克风):是耳朵,用于听清整个世界

VPU麦克风(语音拾音单元):是紧贴声带的收音器,用于只听清你的声音

 

               图 0-1 流程图

 

0.2 对比

 

                               表0-2 对比表

 

 

0.3 VPU麦克风的核心功能与作用

 

在您的8路音频系统中,VPU的核心作用可以总结为:提供一条纯净、高信噪比的“近场语音基线”。

1. 提供纯净的近场语音参考

◦ 问题:您的5个普通麦克风采集的是混合信号(您的语音 + 环境噪音 + 音乐回声 + 风声)。在嘈杂环境中,您的语音可能被淹没。

◦ 解决方案:VPU信号几乎只包含您的语音。算法可以将VPU信号作为一个“干净模板”,去指导系统从5路混合信号中分离和增强您的语音,极大提升语音唤醒(KWS)和语音识别(ASR)的准确率。

2. 实现强悍的主动降噪与风噪抵御

◦ 降噪:在 ANC(主动降噪)通话中,VPU可以直接提供需要保留的语音,让算法能更激进地抑制背景噪音,而不用担心把使用者的声音也消除掉。

◦ 抗风噪:这是VPU的杀手级应用。在骑行、跑步等场景,普通麦克风因风噪完全失效时,VPU仍能提供清晰的通话语音。

3. 与参考音信号协同,完成高级声学处理

◦ 在您构建的系统中,PA参考音提供了“系统播放了什么”的信息,用于消除回声。

◦ VPU则提供了“使用者说了什么”的信息,用于抑制环境噪音和风声。

◦ 两者结合,算法就能实现:最终输出 = 5路混合信号 - PA参考音(消除回声) + VPU引导的语音增强(提升人声),得到干净的人声。

 

 

 

 

 

1 原 5mic 设计

                            图1-1 引脚映射

 

                      图1-2 PDM时钟与数据线

 

  

                         图1-3 mic供电

 

 

 

 

 

 

 

 

 

 

 

 

 

 

2 PDM0  PDM1  PDM2分配

                           图2-1 PDM0 2路

 

                           图2-2 PDM1 2路

 

                             图2-3  PDM2 1路 

 

3  VPU 选择

 

3.1 使用 PDM2

PDM0 1  2 已被使用,因此 VPU应该选择PDM3,没有PDM3, 使用PDM2,不同型号mic的时序可能有不同步风险

 

 

3.2该使用模拟VPU

                                 图2-1 模拟mic口

 

4  模拟MIC 数据获取方法?

 

 

 

 

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐