李宏毅2021机器学习课程：self-attention技术解析

"李宏毅老师的2021年机器学习课程讲义——self-attention" 在深度学习领域，self-attention机制是近年来受到广泛关注的一种技术，尤其在自然语言处理（NLP）和序列建模任务中表现突出。该机制首次在Transformer模型中被引入，由Vaswani等人在2017年的论文《Attention is All You Need》中提出。在李宏毅教授的课程中，他详细讲解了self-attention的概念和应用。 1. **Self-Attention基础** - Self-attention允许模型在处理序列数据时，不仅关注当前位置的上下文，还能考虑整个序列的信息。这与传统的RNN（循环神经网络）或CNN（卷积神经网络）相比，能更好地捕捉长距离依赖关系。 - 输入可以是单一向量，也可以是一组向量，如词嵌入、音频帧特征或者图中的节点特征。例如，输入可以是文本中的单词序列，每个单词通过one-hot编码或预训练的词嵌入表示为向量。 2. **多头注意力（Multi-Head Attention）** - 为了捕捉不同位置的不同模式，self-attention通常采用多头注意力结构。每个头部执行独立的注意力计算，然后将结果组合，从而提供更丰富的信息表示。 3. **计算过程** - self-attention计算包括三个矩阵：查询（Query）、键（Key）和值（Value）。通过内积计算注意力权重，再加权求和得到每个位置的输出向量。 - 具体公式为：Output = Concat(head_1, ..., head_h) * W^O，其中head_i = Query * W_i^Q * Key * W_i^K 的转置的softmax后的值 * Value * W_i^V，W_i^Q, W_i^K, W_i^V 和 W^O 是权重矩阵。 4. **应用实例** - **Part-of-Speech tagging**：在分词任务中，self-attention可以帮助模型理解句子中每个词的角色，即使它们相隔很远。 - **情感分析**：对于判断文本整体情感的任务，self-attention可以捕捉到关键信息，而不仅仅局限于局部上下文。 - **机器翻译**：在Transformer模型中，self-attention允许模型并行处理整个输入序列，提高翻译效率。 5. **模型设计** - 在不同的任务中，self-attention的输出可能对应于每个向量的标签（如词性标注），也可能对应整个序列的标签（如情感分析）。在翻译任务中，self-attention模型可以自适应地决定输出序列的长度。 6. **优缺点** - 优点：并行计算，处理长距离依赖，易于并行化，适用于大规模文本处理。 - 缺点：计算复杂度较高，需要更多的内存和计算资源，尤其是在长序列上。 李宏毅教授的课程通过深入浅出的方式，帮助学习者理解self-attention的工作原理，并提供了实际应用的示例，对于想要深入学习这一领域的学生来说是一份宝贵的资源。