Transformer模型‌：自注意力(Self Attention)、多头注意力(Multi-Headed Attention)

最新推荐文章于 2025-04-18 10:30:29 发布

大模型面试

最新推荐文章于 2025-04-18 10:30:29 发布

阅读量1.4k

点赞数 32

文章标签： transformer 深度学习人工智能大模型 AI大模型自注意力机制多头注意力

本文链接：https://blog.csdn.net/Code1994/article/details/144531326

版权

Transformer模型‌也被称为Transformer架构，Google于2017年在其论文Attention Is All You Need中提出了Transformer模型。

它可以把输入序列转换为输出序列，这句话中的“转换”便是它名字的由来。

另外，Transformer模型还借鉴了seq2seq模型中的Encoder和Decoder架构。

两个模型想要达到的目标一致，但它们的内在却存在很大的区别。

seq2seq模型主要基于Recurrent Network(RNN……)，因此，Recurrent Network的记忆力不足和无法并行训练的缺点也就无法避免。

Transformer模型‌摒弃了seq2seq模型中的Recurrent Network(RNN……)，并完全基于自注意力。这样，在杜绝了Recurrent Network的缺点之后，无论是性能还是训练速度，Transformer模型都大大优于seq2seq模型。

在Transformer模型中，Encoding Component和Decoding Component是一些Encoder和Decoder的堆叠，论文中的堆叠数量为6（这个数量并不固定，也可以尝试使用其它数量）。

每一个Encoder的内部结构完全相同，Decoder也是如此。

每一个Encoder的输入是上一个Encoder的输出，每一个Decoder的输入是上一个Decoder和最后一个Encoder的输出。

把单个Encoder和Decoder放大，可以看见它们的组成部分：

Encoder：

Self attention
Feedforward

Decoder：

Self attention
Encoder-decoder attention
Feedforward

上图便是Transformer模型的详细架构。

自注意力(Self Attention)

Transformer模型中的“注意力”和RNN没有任何关系，我们称之为“自注意力”，之所以叫“自注意力”，是因为对于输入序列中的每一个单词，我们都要计算同一序列中的所有单词和它之间的“注意力”。

上图中，“它”的含义取决于上下文，不过模型怎么知道“它”指的是太阳而不是画家呢，这就得益于“自注意力”。

首先，我们先来了解三个名词：query、key、value。

假设，我们有一个FAQ系统，在搜索框中输入我们的问题，系统就会返回一系列的文章，我们点击文章列表就能查看文章详情。这个过程，系统不会随便返回无关的文章，它会根据我们的问题，返回知识库中具有相似标题的文章。

上面这个例子，我们的问题可以当做query，返回的文章标题可以当做key，返回的文章详情可以当做value。

再举一个例子，幼儿园老师让小朋友们举荐一位班长，对于小朋友来说，可能谁分享给他的零食最多，他就觉得谁好，就会举荐谁。

此时，我们的小朋友小明就会想：谁平时分享给我的零食最多呢(query)？

小刚平时不咋给我分享，我给他要他都不给我(小刚的key)；
小兰平时会给我一些，但是只有她不喜欢吃的才给我(小兰的key)；
小红第一时间就会想到我，自己喜欢吃的也会分享给我(小红的key)。

小明根据其他三位小朋友跟自己分享零食的情况，最终举荐了小红，并准备了举荐词：小红同学乐于助人、善于分享(小红的value)…，她最适合当这个班长了。

总之，上述示例只是为了让大家对这三个名词的作用有个更好的理解。在输入序列中，它们分别从三个不同的维度或角度诠释了某个单词。

对于模型来讲，query、key、value是根据输入和权重计算出来的向量，模型只是利用它们去计算概率并得到输出，并不知道它们在现实世界中所代表的实际含义或特征，我们也不用试图去理解每个向量的具体含义或特征，否则只会徒增烦恼。

以4个单词的输入序列为例，计算机无法识别字符格式的输入，需要先把单词转换为对应的词嵌入。

我们用下面的公式分别计算每个单词对应的query、key、value

其中，是权重，是偏差。

以第一个单词为例，用第一个单词的query和所有单词的key相乘，得出注意力得分，并对得分应用softmax函数，得出注意力概率分布。图中，注意力得分并未体现，注意力概率分布直接用百分比来表示。

query和key相乘，是用点积来判断两个向量之间的相似性。

将注意力概率和所有单词的value相乘，并相加得出第一个单词的注意力输出。

重复上述几步，得出其它单词的注意力输出。

对于刚才的示例“太阳如同一位慷慨的画家，因为有它，世界才变得美丽如画”，将其输入训练好的模型之后，“它”的query和“太阳”的key相乘…，得出的概率最高，再用概率和“太阳”的value相乘…，最终，在“它”的注意力输出里面，“太阳”的信息占较大一部分，模型以此判断出“它”指的就是“太阳”。

自注意力(Self Attention) - 哈佛课件

我们来看下哈佛大学CS287课程中对“自注意力”的讲解。

“自注意力”的目的是为当前单词创建抽象的、丰富的表征，这个表征被相同序列中的其它单词所影响。

表面现象为：序列中的每一个单词对x1都存在不同的权重a，根据权重，每一个单词都贡献出自己的一部分，共同组成x1的输出z1。

表象之下，每个单词还存在3个相关联的向量：query、key、value。

每个向量由词嵌入和对应的权重矩阵计算而来。

q1和k1相乘，得出x1对x1的注意力得分。

q1和k2相乘，得出x1对x2的注意力得分。

q1和k3相乘，得出x1对x3的注意力得分。

q1和k4相乘，得出x1对x4的注意力得分。

最终，我们得出x1对所有单词的注意力得分，然后应用softmax函数将得分转换为注意力概率分布。

在应用softmax函数之前，对所有的注意力得分都除以了8，这一点先做下标记，一会再讲原因。

得出x1对所有单词的注意力概率之后，将概率和对应单词的value相乘，再相加，就能构成x1的丰富表征z1，很明显，这个表征携带了其它单词的信息。

同理，可计算剩余单词的丰富表征。另外，在求取query、key、value时使用了三个权重矩阵，这三个权重矩阵对所有单词分别都是同一个。

最终，我们得出了所有单词的丰富表征。

上图是乘法注意力中的dot函数。

现在，我们对“自注意力”已经有了一定的认识，如果非要和之前的“注意力”进行对比的话：

“自注意力”中的query相当于“注意力”中的Decoder隐藏状态。
“自注意力”中的key和value相当于“注意力”中的Encoder隐藏状态。

自注意力(Self Attention) - 矩阵计算

一般情况下，在单个单词的计算过程中，词嵌入的维度是512，形状为(1,512)；权重矩阵的形状为(512,64)；query、key、value的维度是64，形状为(1,64)。

这三个维度值在模型中是超参，我们可以根据自己的情况对其进行调整。需要注意的是，query、key、value的维度并不一定要小于词嵌入的维度。

维度越大，捕捉的信息越多，但是计算量也会随之增加，我们需要在维度和计算量之间进行权衡。

512恰好是64的倍数，这并不是巧合，稍后我们在“多头注意力”中将知道原因。

前面的两小节，我们以单个单词作为示例，讲解了从输入到输出的计算过程。但是，在实际训练中，单词的计算通常是并行的，所有单词的词嵌入构成了嵌入矩阵X，这就涉及到了矩阵和矩阵之间的计算。

嵌入矩阵和权重矩阵相乘，得到了query、key、value的矩阵Q、K、V。

矩阵Q和转置后的矩阵K相乘，得出每一个单词对所有单词的注意力得分，此得分同样是一个矩阵。

前面的“哈佛课件”小节中，在应用softmax函数之前，我们对所有的注意力得分都除以了8，为什么要这么做呢？

单个单词的query和key的形状为(1,64)时，注意力得分的计算是(1,64)*(64,1)，它的值是64对数字相乘再相加，这就使得注意力得分通常是一个比较大的数字。当注意力得分较大时，softmax的值也会较大，根据softmax函数的曲线图，值越大曲线越平稳，对应的梯度就越小，最终导致模型难以训练，为了避免这种情况，在对注意力得分应用softmax函数之前，先对其进行缩放。通常情况下（可参考论文），我们将注意力得分除以key的维度的平方根，在这个例子中，64的平方根是8。

对注意力得分矩阵应用softmax函数，可得注意力概率矩阵，将注意力概率矩阵和value的矩阵V相乘，可得最终的输出矩阵Z。