李哥深度学习第七节 自然语言处理与bert
·
但传家宝里放的东西没用还会干扰选择
所以出现了
将没用的上锁不让进
同一个问题：RNN与LSTM太慢了（串行的）
出现了：
但是这个注意力怎么来的，有两种方法
经过soft-max 得到和为一的矩阵
在乘一个v矩阵（相当于全连接）q扫码器，k二维码，v value 先用q看别人的k，得到注意力再去乘v，在全部加起来
Wq Wk Wv用的是同一个矩阵
总结一下就是这样一个过程：
维度变化：
segmen 是句子编码
最常用的是第一种
embedding两个不同，六中多了一个句子层
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
2
0- 0
已为社区贡献2条内容
所有评论(0)