【【强推】李宏毅2021机器学习深度学习】自注意力机制 Self-Attention
·
写在前面
[视频学习-bilibili] | [课程主页——sample code & slide] | [ML2021学习笔记] | [homework_code]
https://github.com/wolfparticle/machineLearningDeepLearning
文章目录
- 写在前面
-
- 输入是多个向量,而且这个输入的向量的数目是会改变的呢（之前的输入都是不会变的）
- 聚焦第一个问题：输入输出等长
- -----------------------视频(下)---------------------------------------
-
- 再讲一次b2怎么得来
- 进阶版：Multi-head Self-Attention
- Positional Encoding（位置信息）
- 应用：
- Self-Attention v.s. CNN
- Self-attention v.s. RNN (RNN 这门课没有将，已经可以被Self-attention取代了？)（李宏毅老师的课真是与时俱进了）
- Self-attention for Graph（GNN）（水也很深）
- Self-attention （to learn more）（运算量非常大，怎么减少运算量也是未来的一个重点）（什么样的transform又快又好尚待研究问题，transform就是广义的self-attention了）
输入是多个向量,而且这个输入的向量的数目是会改变的呢（之前的输入都是不会变的）
输入例子
输出例子（输入输出等长，输出只有1长度，输出长度未知seq2seq）
聚焦第一个问题：输入输出等长
Sequence Labeling
Self-Attention（可以多次叠加）
Self-Attention的原理
-----------------------视频(下)---------------------------------------
再讲一次b2怎么得来
从矩阵乘法的角度解释
进阶版：Multi-head Self-Attention
Positional Encoding（位置信息）
应用：
语音上应用
在图片上的应用
Self-Attention v.s. CNN
Self-attention v.s. RNN (RNN 这门课没有将，已经可以被Self-attention取代了？)（李宏毅老师的课真是与时俱进了）
Self-attention for Graph（GNN）（水也很深）
Self-attention （to learn more）（运算量非常大，怎么减少运算量也是未来的一个重点）（什么样的transform又快又好尚待研究问题，transform就是广义的self-attention了）
DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。
更多推荐
0
0- 0
已为社区贡献16条内容
所有评论(0)