《Attention Is All You Need 》研读

  大家好，我是爱编程的喵喵。双985硕士毕业，现担任全栈工程师一职，热衷于将数据思维应用到工作与生活中。从事机器学习以及相关的前后端开发工作。曾在阿里云、科大讯飞、CCF等比赛获得多次Top名次。现为CSDN博客专家、人工智能领域优质创作者。喜欢通过博客创作的方式对所学的知识进行总结与归纳，不仅形成深入且独到的理解，而且能够帮助新手快速入门。

  本文主要介绍了《Attention Is All You Need 》研读，希望能对同学们有所帮助。

1.简介

本篇论文是谷歌提出的基于注意力机制的transformer模型，主要解决机器翻译问题。之前的研究大多使用RNN和encoder-decoder结构，RNN的下一个输入依赖于上一层输出，串行结构导致运行很慢，transformer摒弃了递归结构，引入注意力机制，使得其可以并行计算，加快训练时间。

2. 背景

机器翻译领域，以前经常采用RNN，但是RNN不能并行运算，所以提出了一些使用CNN的方法，比如谷歌的ByteNet，facebook的FairSeq等。
自注意力机制能够将不同位置的输入信息联系起来，现主要应用于提取摘要、文本推论等多个领域

3. 模型结构

多数的nlp任务都包含两层结构：enocder&decoder。输入是序列$x=(x{1}_{,}{x}_2,\cdots ,x_n)$，经过encoder，变成$z=(z_1,z_2,⋯,z_n) $，再经过decoder得到输出序列$y=(y_1,y_2,⋯,y_m)$。模型是基于自回归模型的，即前一个输出是下一个的输入。

3.1 encoder与decoder的堆叠

transformer由6个encoder堆叠而成，每个基本层包含两个子层，一为注意力机制、二为全连接层。两个子层引入了残差变和layer normalization。
decoder也是由6个堆叠而成，每个基本层除了包含注意力机制、全连接，还添加了一层自我注意力机制

3.2 注意力机制

attention将一个给定的query向量通过key-value键值表向量进行映射，输出是一种加权和，权重由刚才的query、key、value决定：

  用h(本篇论文取8)个不同的线性变换分别将dmodel维的dmodel维的key、value和query映射成dkdk维、dkdk维和dvdv维，然后再代入注意力机制，产生总共h×dvh×dv维输出，然后拼起来，再用一个线性变换得到最终的输出。

3.3 前向神经网路

简单来讲就是全连接，将回归送到relu等激活函数中，

3.4 位置编码

本篇论文没有使用递归和卷积网路，为了使模型能够利用输入序列的顺序信息，采用位置编码的方式，编码后向量维度为$d_{m}odel$：

4. 训练

训练数据使用WMT English-German数据集，包含450w对语句。使用了一个大小约37000个token的字典。样本被分为若干个batch，每个batch大概25000个token，每个batch中的句子长度保持基本一致。硬件上使用了8块GPU。Optimizer使用了Adam。过拟合方面使用了dropout和Label Smoothing。