Thinking…

Now I’m moving into the background section to apply the same close reading approach.

具身智能论文伴读 | 第一期 | 精读 03｜Attention Is All You Need · Background:一篇"相关工作"是怎么给自己划地盘的

---

先说清楚:这一节的"活儿"和引言不一样

引言(Introduction)的任务是讲故事、给动机;而这一节叫 Background(有些论文叫 Related Work,相关工作),它的任务是另一件事——

把"跟我做类似事情的前人"一个个请出来,说清楚"他们做到哪、卡在哪",最后圈出一块空地:“这块地,我是第一个占的。”

所以读相关工作,盯住三个问题:

1. 作者提到了哪几拨"竞争对手/前辈"?(通常一拨一段)
2. 每一拨的长处是什么、致命短板是什么?
3. 作者最后怎么用一句 “To the best of our knowledge…” 给自己圈地盘、宣示原创性?

你把这三问揣好,往下看,你会发现这一整节就是沿着"减少串行计算"这条主线,逐个点评前人,最后收口到"就我最彻底"。

---

逐句拆解

【主线 + 第一拨对手:卷积家族】

The goal of reducing sequential computation also forms the foundation of the Extended Neural GPU, ByteNet and ConvS2S, all of which use convolutional neural networks as basic building block, computing hidden representations in parallel for all input and output positions.

大白话:"减少串行计算"这个目标,也是 Extended Neural GPU、ByteNet、ConvS2S 这几个工作的根基;它们的共同点是——都拿卷积神经网络(CNN)当基本积木,能同时(并行)为所有位置算出隐藏表示。

先接上一节:引言里咱们确定了 RNN 的死穴是"串行、不能并行"。这句开头的 also(也)是个信号灯——它在说:"想解决串行问题的,不止我一个,前面这三拨人也在治这个病。"作者很坦诚地承认:我不是唯一想到"要并行"的人。

• the foundation of / forms the foundation(构成…的根基):表示"某目标是某些工作的出发点"。
• convolutional neural networks(CNN,卷积神经网络):另一类主流网络,擅长"一次看一小片、到处扫一遍"。关键在它天生能并行——所有位置可以同时算,不用像 RNN 那样排队。这正是它被拿来对付 RNN 死穴的原因。
• basic building block(基本积木/构建单元):搭模型用的最小零件。这个词组你记下,写架构时常用。
• computing hidden representations in parallel(并行地计算隐藏表示):in parallel(并行)直接对上了 RNN 的痛点。

注意作者的公允:他没说"这仨都是垃圾",而是先肯定"它们和我目标一致、也解决了并行"。相关工作里,先给对手记功,再挑毛病,这是基本风度,也是可信度的来源。 一上来就贬低对手的论文,审稿人会觉得你不客观。

【第一拨对手的死穴:距离越远越费劲】

In these models, the number of operations required to relate signals from two arbitrary input or output positions grows in the distance between positions, linearly for ConvS2S and logarithmically for ByteNet.

大白话:在这些卷积模型里,要把相距很远的两个位置联系起来,所需的操作数会随着它们的距离增长——ConvS2S 是线性增长,ByteNet 是对数增长。

这句是这拨对手的要害,慢慢读:

• relate signals from two arbitrary positions(把任意两个位置的信号关联起来):比如让第 2 个词和第 50 个词"对上话"。
• the number of operations … grows in the distance(操作数随距离增长):位置隔得越远,要花的计算步骤越多。为什么?因为 CNN 一次只能看一小片,想让隔很远的两个词发生关系,得一层层叠上去,像传话游戏,越远传得越多层。
• linearly(线性地)/ logarithmically(对数地):两种增长速度。这俩词得给你讲清:
  • 线性 linear:距离翻倍,操作数就翻倍。记成 $O(n)$。
  • 对数 logarithmic:增长很慢,距离翻倍,操作数才多加一点点。记成 $O(\log n)$。对数比线性慢得多,所以 ByteNet($O(\log n)$)在这点上比 ConvS2S($O(n)$)更聪明。

打个比方:让排头和排尾的两个人传句话。ConvS2S 像"一个挨一个传",人越多传得越久(线性);ByteNet 像"搭了个金字塔式的传话结构",效率高些(对数)。但不管哪种,距离越远都越费劲——这就是缺点。

【顺势亮出自己的优势 + 诚实交代代价】

This makes it more difficult to learn dependencies between distant positions. In the Transformer this is reduced to a constant number of operations, albeit at the cost of reduced effective resolution due to averaging attention-weighted positions, an effect we counteract with Multi-Head Attention as described in section 3.2.

大白话:距离越远越费劲,就导致模型难以学到远距离的依赖关系。而在 Transformer 里,这被降到了常数级的操作数(不管多远,都只要固定几步);不过,这么做有个代价——因为要对"加权平均后的多个位置"做平均,有效分辨率会下降;这个副作用,我们用多头注意力(Multi-Head Attention) 来抵消,详见 3.2 节。

这句是全段的高潮,信息量大,拆开看:

先看优势那半句——reduced to a constant number of operations(降到常数级操作)。这是 Transformer 对卷积家族的碾压点:

• CNN 关联远距离要 $O(n)$ 或 $O(\log n)$,
• Transformer 只要 $O(1)$(常数,一步到位)。

回想上一节讲注意力时说的"不管多远,一步直达"——这里就是那句话的量化版。注意力算任意两个位置的关系,压根不看距离,直接算,所以是常数。这就是"扔掉卷积"的理由,和上一节"扔掉循环"的理由一脉相承。

再看那个特别值得学的转折词 albeit——意为"尽管、虽然",偏书面。它引出的是作者主动交代自己方法的缺点:

• at the cost of(以…为代价):好用的句式,承认"有得必有失"。
• reduced effective resolution(有效分辨率下降):因为注意力是把很多位置加权平均成一团,平均就会"糊"掉一些细节,像把几张照片叠在一起,清晰度下降。
• an effect we counteract with Multi-Head Attention(这个副作用我们用多头注意力抵消):counteract = 抵消。作者不光承认缺点,还立刻给出补救方案,并指路"3.2 节细讲"。

这半句是全篇写作的教科书示范,你一定要学: 讲完自己的优势,主动、诚实地承认代价,然后立刻给出解决办法。这么写有三个好处:(1)显得客观可信,不吹牛;(2)抢在审稿人挑刺之前自己说了,变被动为主动;(3)顺势引出自己的另一个创新点(多头注意力)。一个成熟研究者的自信,恰恰体现在敢于说自己方法的短处。

• as described in section 3.2(如 3.2 节所述):论文里"埋钩子指路"的标准写法,把细节推到后文,保持此处简洁。

【第二拨:自注意力——先给个正式定义】

Self-attention, sometimes called intra-attention is an attention mechanism relating different positions of a single sequence in order to compute a representation of the sequence.

大白话:自注意力(self-attention),有时也叫 intra-attention,是一种注意力机制,作用是把同一个序列内部的不同位置相互关联起来,从而算出整个序列的表示。

这句不是在点评对手,而是给一个核心术语下定义——因为 self-attention 是 Transformer 的心脏,作者要确保读者搞懂它。

• self-attention(自注意力):注意力的一种特例。普通注意力可能是"译文去看原文";self-attention 是"一句话自己看自己"——句子里每个词都去看同一句话里的其他词,来更新自己的理解。比如"猫累了,它睡了"里的"它",自注意力让它去关注同句的"猫"。
• intra-attention:同义词。前缀 intra- 意为"内部的"(对比 inter- = 之间的)。intra-attention 就是"序列内部的注意力",和 self-attention 一个意思。记住 intra-(内)/ inter-(间)这对前缀,科技英语里到处都是(intranet 内网 / international 国际间)。
• relating different positions of a single sequence(关联单个序列内部的不同位置):注意 a single sequence(同一个序列)——这正是"self"的含义所在:不是两个序列互看,是一个序列自己内部互看。
• representation(表示):模型对输入理解后得到的一串数字,浓缩了含义。

顺手攒个前缀小家族:intra-(内部,intracellular 细胞内)、inter-(之间,interaction 互动)、extra-(外部/额外,extraordinary 非凡)、self-(自身)。看到生词先拆前缀,常能猜个八九不离十。

【第二拨:自注意力已经在别处成功过】

Self-attention has been used successfully in a variety of tasks including reading comprehension, abstractive summarization, textual entailment and learning task-independent sentence representations.

大白话:自注意力已经在一堆任务上成功用过,包括阅读理解、生成式摘要、文本蕴含、以及学习"与具体任务无关的通用句子表示"。

这句的用意:给自注意力"背书"。作者在说:“self-attention 不是我瞎编的新玩意,它在别的任务上早已被证明好用。”——这是为自己的核心工具建立可信度,减少读者的疑虑。

顺带认几个 NLP 任务名(眼熟即可,不必深究):

• reading comprehension(阅读理解):给文章和问题,让模型答题。
• abstractive summarization(生成式摘要):用自己的话概括,而非摘抄原句。
• textual entailment(文本蕴含):判断"由 A 句能否推出 B 句"。
• task-independent sentence representations(与任务无关的句子表示):一种"通用"的句子向量,拿到哪个任务都能用。

has been used successfully in a variety of tasks including…(已成功用于多种任务,包括……)是引用他人成果、给方法背书的万能句式,收进你的写作库。

【第三拨:端到端记忆网络】

End-to-end memory networks are based on a recurrent attention mechanism instead of sequence-aligned recurrence and have been shown to perform well on simple-language question answering and language modeling tasks.

大白话:端到端记忆网络(End-to-end memory networks)靠的是一种循环式的注意力机制,而不是"与序列位置对齐的循环";它在简单语言的问答和语言建模任务上表现不错。

这是第三拨相关工作,作者点得比较轻,你抓住它和别人的区别即可:

• sequence-aligned recurrence(与序列对齐的循环):回想引言那句"位置对齐到时间步"——就是 RNN 那种"第 $t$ 个词在第 $t$ 步处理"的死板串行。
• recurrent attention mechanism(循环式注意力):memory networks 用的是"循环地施加注意力",而不是上面那种死板的位置对齐循环。作者点出这个区别,是要说明"它也在试图跳出传统 RNN 的框子,但方式和我不同"。
• have been shown to perform well on…(已被证明在…上表现良好):又一个中性、客观的评价句式。注意限定词 simple-language(简单语言的)——这是个不动声色的边界:它只在"简单"任务上验证过,暗示还没到 Transformer 要冲击的复杂翻译这一级。

【圈地盘:全节的题眼】

To the best of our knowledge, however, the Transformer is the first transduction model relying entirely on self-attention to compute representations of its input and output without using sequence-aligned RNNs or convolution.

大白话:然而,据我们所知,Transformer 是第一个完全依靠自注意力来计算输入输出表示、既不用序列对齐的 RNN、也不用卷积的转换模型。

这就是整节 Background 的落脚点、题眼所在。 前面把卷积家族、自注意力的旧用法、记忆网络挨个点评一遍,全是为了衬托这一句:它们要么用了卷积,要么用了 RNN,要么自注意力只是配角;而我,是第一个"纯自注意力、什么都不掺"的。

两个必须掌握的写作套路:

其一,To the best of our knowledge(据我们所知)——这是宣示原创性时的标准护身符。为什么不直接说"Transformer 是第一个"?因为科研文献浩如烟海,你不可能读遍全世界所有论文,万一有人早做过,你把话说死就成了学术错误。加上"据我们所知",既主张了原创,又留了余地:"如果有遗漏,是我们没查到,而非我们抹杀。"这是学术诚实与自我保护的双重智慧,你写论文声称"首次"时,几乎必须带上它。

其二,the first … relying entirely on … without … 这个"圈地"句式——用 entirely on(完全依靠某物)+ without(不用某些东西) 精确地划出自己的独占地盘。它同时呼应了标题 Attention Is All You Need 和引言的 “eschewing recurrence”。读到这里你应该看出来了:标题、引言、相关工作,三处都在反复敲同一个钉子——“纯注意力、别的都不要”。 好论文的各部分是彼此咬合、反复强化同一核心主张的。

【承上启下:告诉你接下来讲啥】

In the following sections, we will describe the Transformer, motivate self-attention and discuss its advantages over models such as [17, 18] and [9].

大白话:在接下来的章节里,我们会描述 Transformer、论证为什么用自注意力、并讨论它相比那些模型(即前面点过的卷积等工作)的优势。

这是一句路线图(roadmap),相关工作的收尾常这么写:告诉读者后文的安排,让人心里有数。

• describe(描述)/ motivate(论证动机)/ discuss its advantages(讨论其优势):三个动词就是后续三块内容的提纲。motivate 在学术英语里常作"给出……的动机/理由"讲,不是"激励",这个用法你留意。

---

今日知识点

英文表达

• form the foundation of…:构成……的基础/根基。
• basic building block:基本构建单元、积木。描述架构组成时常用。
• in parallel:并行地。对应 RNN 的痛点 sequential。
• grow (linearly / logarithmically) in the distance:随距离(线性/对数)增长。描述复杂度随某量变化的地道说法。
• albeit:尽管、虽然(书面转折词,后接短语)。承认代价时优雅好用。
• at the cost of…:以……为代价。
• counteract:抵消、对抗(某个副作用)。
• intra- / inter-:内部 / 之间(前缀)。self-attention = intra-attention。
• has been used successfully in / has been shown to perform well on…:引用他人成果、给方法背书的万能句式。
• To the best of our knowledge:据我们所知。宣示"首次/原创"时的标准护身符。
• the first … relying entirely on … without …:"圈地盘"句式,精确划定自己的独占贡献。
• in the following sections, we will…:路线图句式,预告后文安排。

复习一下前缀家族:intra-(内)、inter-(间)、extra-(外/额外)、self-(自身)。遇到长单词先拆前缀猜意思,是啃英文文献的省力功夫。

复杂度符号(计算机专业本科知识)

• $O(1)$ 常数:不管输入多大,操作数固定——Transformer 关联任意两位置就是它,最理想。
• $O(\log n)$ 对数:增长很慢——ByteNet。
• $O(n)$ 线性:等比增长——ConvS2S。
• 记忆口诀:$O(1)<O(\log n)<O(n)$,越靠左越快越好。

科研知识

• 相关工作(Related Work / Background)的读法与写法:沿一条主线(这里是"减少串行计算"),逐拨点评前人——先记功(承认长处),再挑刺(点出短板),最后用一句 “To the best of our knowledge, we are the first to…” 圈出自己的独占地盘。读的时候盯住"有哪几拨对手、各自长短、我凭什么不同"。
• 主动承认缺点是一种自信:albeit at the cost of…, an effect we counteract with…——讲完优势,坦白代价,立刻给补救。这么写更可信,还能抢在审稿人之前堵住质疑,并顺势引出自己的下一个创新点。别把论文写成完美无缺的广告,懂得说"我这里有个取舍,我这样解决"的作者才显专业。
• "首次/原创"要留余地:世界上论文太多,声称 “the first” 时务必配上 “To the best of our knowledge”,既主张原创又不把话说死,是学术诚实与自我保护的双重智慧。
• 全文一致性:标题(Attention Is All You Need)、引言(eschewing recurrence, relying entirely on attention)、相关工作(the first relying entirely on self-attention without RNNs or convolution)反复敲同一个核心主张。好论文的每个部分都在为同一句话服务。

一句话带走:这一节 Background 沿着"减少串行计算"这条线,先肯定卷积家族(能并行但远距离费劲、$O(n)$/$O(\log n)$),再把自己的 $O(1)$ 优势亮出来并诚实交代"分辨率下降、用多头注意力补救",接着为核心工具自注意力背书、点评记忆网络,最后用 “To the best of our knowledge, the first … relying entirely on self-attention without RNNs or convolution” 一句圈定原创地盘——很好地示范了"相关工作"该怎么给自己划疆界。