注意力机制（Attention）

### 自注意力机制的概念 自注意力机制（Self-attention mechanism）允许模型在同一序列的不同位置之间建立联系，从而捕捉到更丰富的上下文信息。通过这种方式，每个位置都可以关注整个序列中的其他部分，而不仅仅是相邻的位置[^4]。 在深度学习中，自注意力机制通常用于处理变长的输入序列。与传统的循环神经网络不同的是，自注意力机制能够一次性考虑所有时间步的信息，而不是逐个时间步地顺序处理数据。这种特性使得自注意力机制特别适合于自然语言处理任务和其他涉及长期依赖的任务[^1]。 ### 工作原理 在一个典型的实现中，对于给定的一组词元，这些词元会同时作为查询（Query）、键（Key）以及值（Value）。具体而言： - **查询 (Q)**：表示当前要计算注意力得分的目标项； - **键 (K)**：用来与其他查询匹配的对象； - **值 (V)**：当某个特定查询成功找到对应的键时所返回的内容； 为了计算注意力分数，首先会对每一对查询和键执行点乘操作，并除以根号下的维度大小来缩放结果。接着使用softmax函数将得到的结果转换成概率分布形式，最后再加权求和获得最终输出向量。 ```python import torch import math def scaled_dot_product_attention(query, key, value): d_k = query.size(-1) scores = torch.matmul(query, key.transpose(-2, -1)) / math.sqrt(d_k) # 计算注意力得分 p_attn = torch.softmax(scores, dim=-1) # 应用Softmax获取权重 output = torch.matmul(p_attn, value) # 加权求和得到输出 return output, p_attn ``` ### 应用场景 #### 多模态语音情感识别 研究显示，在多模态语音情感识别方面引入自注意力机制可以显著提高分类准确性。通过对音频特征、文本转录等多个通道的数据施加自注意力层，系统能更好地理解说话者的语气变化及其背后的情感状态[^2]。 #### 深度语义角色标注 利用自注意力机制还可以改进深层结构化的预测任务，比如深度语义角色标注(SRL)，这有助于解析句子内部复杂的语法关系并提取出事件参与者之间的关联模式。