Self-attention，自注意力机制
词向量关联性计算：Dot-product、Inner-product
（自己与自己计算关联性？）

Batch Normalization

Pytorch 在 Training 过程中将持续计算一个 moving avrage

Internal Covariate Shift

Transformer

Encoder的Block
Transformer的block
Decoder自己决定输出的向量的长度
在这里插入图片描述
NAT：

  1. parallel 平行化
  2. controllable output length 输出长度可控

Tricks

  1. Copy Mechanism
  2. Guided Attention：Monotonic Attention、Location-aware attention
  3. Beam Search: Greedy Decoding
  4. Scheduled Sampling

BLEU score

Sequence Labeling

类似于卷积
在这里插入图片描述
类似于空洞卷积？？？
在这里插入图片描述

special token：前两行、前两列，所有token通过special token传递信息，token两两间无通信
在这里插入图片描述

multi-head：通过不同的head，使用多种attention机制
在这里插入图片描述
在这里插入图片描述

query和key在同一cluster里才计算其attention value，否则直接置0
在这里插入图片描述
上述模型，对于要不要计算attention，都是基于人类的理解

基于learnable决定要不要计算attention
在这里插入图片描述

去除重复的column
在这里插入图片描述

# 深度学习 # 人工智能
Logo
DAMO开发者矩阵

DAMO开发者矩阵，由阿里巴巴达摩院和中国互联网协会联合发起，致力于探讨最前沿的技术趋势与应用成果，搭建高质量的交流与分享平台，推动技术创新与产业应用链接，围绕“人工智能与新型计算”构建开放共享的开发者生态。

更多推荐

cover

Isaac 0.5：感知的缩放控制（上）

avatar DAMO开发者矩阵
cover

RoboTTT

avatar DAMO开发者矩阵

微信AI客服全自动回复实测：多模态读图+语音转写+精准报价，7天免费体验，白黑名单群聊智能过滤，拟人化话术秒回客户微客AI助手，电商门店私域流量获客神器真实测评

很多做生意的朋友都有过这样的无奈时刻：正忙着打包发货，手机叮叮咚咚响个不停，全是问“多少钱”“有没有货”的；等好不容易腾出手回消息，客户早就因为等不及去了别家。晚上想早点休息，可偏偏深夜还有客户来咨询，第二天醒来才发现错失了不少单子。请个专职客服吧，工资成本高不说，还很难保证每个人都能像老板自己那样熟悉产品、语气自然。其实，现在的技术已经能帮我们把这部分重复又耗时的接待工作自动化了。不是那种只会发

avatar DAMO开发者矩阵