局部加权回归(Loess):

Loess的目标是最小化\sum \omega ^{\left ( i \right )}\left ( y^{\left ( i \right )} -\theta ^{T}x^{\left ( i \right )}\right )^{2}, 其中\omega ^{\left ( i \right )}=exp\left ( - \frac{\left ( x^{\left ( i \right )}-x \right )^{2}}{2\iota ^{2}} \right )

\omega的作用是使预测点的临近点在最小化目标函数中贡献大:

\begin{vmatrix} x^{\left ( i \right )}-x \end{vmatrix} small \Rightarrow \omega ^{\left ( i \right )}\approx 1

\begin{vmatrix} x^{\left ( i \right )}-x \end{vmatrix}large\Rightarrow \omega ^{\left ( i \right )}\approx 0

Loess更加注重临近点的精确拟合。

这个算法中最神奇的就是这个w,局部相关性w很像高斯模板中心到边缘(3*sigma+1)/2的局部相关性,也就相关性关注(起作用),其他不关注(不起作用);从这一点出发,我们可以看到MFcc三角滤波中,每一个三角形滤波器都有这种局部相关性,只不过Mfcc追求的是三角形内归一化操作,而局部加权回归是局部相关范围内的最小二乘法。

我们再看一眼梅尔三角滤波:(|X(k)|^{2}是傅里叶快速变换后的振幅能量

\sum \binom{b}{a}|X(k)|^{2}*H(k)

这里边最神奇的就是这个H(k),他就是k在定义域【a,b】起作用,而且\sum \binom{b}{a}H(k)近似等于1,

H(k)=2*(k-f0)/[(f1-f0)*(f2-f0)],k属于【a,a/2+b/2);

H(k)=2*(f2-k)/[(f1-f0)*(f2-f0)],k属于【a/2+b/2,b】

例如a=9,b=25,分母[(f1-f0)*(f2-f0)]=7*16=112,那么H(k)提取取出2/112,

H(k)=(k-f0),k属于【a,a/2+b/2);f0=9

H(k)=(f2-k),k属于【a/2+b/2,b】;f2=25

H(9),H(10),H(11),H(12),H(13),H(14),H(15),H(16),H(17),H(18),H(19),H(20),H(21),H(22),H(23),H(24),H(25)结果是

0,1,2,3,4,5,6,7,8,7,6,5,4,3,2,1,0

这就是著名的梅尔三角滤波器(工作与mfcc之中),H(k)作用于|X(k)|^{2}\sum \binom{b}{a}|X(k)|^{2}*H(k)就能起到归一化的作用,其他都不管,只看H(k),他是否与局部加权回归中的W异曲同工呢?

这就是局部加权的伟大之处吧!

 

Logo

DAMO开发者矩阵,由阿里巴巴达摩院和中国互联网协会联合发起,致力于探讨最前沿的技术趋势与应用成果,搭建高质量的交流与分享平台,推动技术创新与产业应用链接,围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐