世界上最先进的注意力机制！结合CNN+LSTM暴力涨点！

2025深度学习发论文&模型涨点之——CNN+LSTM+Attention

CNN+LSTM+Attention 是一种结合了卷积神经网络（CNN）、长短期记忆网络（LSTM）和注意力机制（Attention）的深度学习模型，广泛应用于处理具有时空相关性的序列数据。

• 特征提取（CNN）：CNN 用于提取输入数据的局部特征，通过卷积层和池化层对数据进行降维和特征提取。

• 序列建模（LSTM）：将 CNN 提取的特征序列输入 LSTM 网络，捕捉时间序列中的长期依赖关系。

• 注意力加权（Attention）：通过注意力机制对 LSTM 的输出进行加权，使模型能够聚焦于对当前预测最重要的部分。

小编整理了一些CNN+LSTM+Attention【论文】合集，以下放出部分，全部论文PDF版皆可领取。

需要的同学

回复“111”即可全部领取

论文精选

论文1：

Identifying DNA Sequence Motifs Using Deep Learning

使用深度学习识别DNA序列模式

方法

• DeepDeCode模型：提出了一种基于注意力机制的深度学习序列模型，用于捕获DNA序列中核苷酸的长期依赖关系。

• 双向LSTM编码器：使用双向LSTM处理DNA序列，能够从正向和反向两个方向提取特征。

• 注意力机制：通过“软”注意力机制识别对剪接位点分类最重要的核苷酸位置，增强模型的可解释性。

  

创新点

• 高准确率：DeepDeCode在识别剪接位点的任务上达到了95%的准确率，显著优于现有的CNN和RNN基线模型。

• 模型可解释性：通过可视化注意力权重，能够直观地展示模型关注的DNA序列区域，与已知的生物学知识（如PY-Tract区域）相符合，增强了模型的可信度。

• 非典型剪接位点识别：除了常见的剪接位点，DeepDeCode还能够识别非典型剪接位点，这对于发现新的基因调控元件具有重要意义。

  

论文2：

Stacked Attention Networks for Image Question Answering

用于图像问答的堆叠注意力网络

方法

• 图像模型：使用卷积神经网络（CNN）提取图像的高级特征表示，保留空间信息。

• 问题模型：使用CNN或长短期记忆网络（LSTM）提取问题的语义向量。

• 堆叠注意力模型：通过多步推理，逐步定位与问题相关的图像区域，最终预测答案。

  

创新点

• 多步推理：通过堆叠多个注意力层，实现了多步推理，能够更好地处理需要复杂逻辑的图像问答问题。

• 性能提升：在四个图像问答数据集上，SAN模型显著优于现有的最先进方法，平均准确率提升了5.9%至11.5%。

• 可视化分析：通过可视化不同注意力层的输出，展示了模型逐步聚焦于相关视觉线索的过程，验证了多步推理的有效性。

  

论文3：

Transformer in Transformer as Backbone for Deep Reinforcement Learning

作为深度强化学习骨干网络的Transformer in Transformer

方法

• Transformer in Transformer（TIT）架构：将两个Transformer级联，内层Transformer处理单个观测，外层Transformer处理观测历史，提取时空特征。

• 内层Transformer：对单个观测进行处理，学习观测的时空信息。

• 外层Transformer：处理观测历史，捕捉时间序列信息，辅助决策。

  

创新点

• 纯Transformer骨干网络：首次证明了纯Transformer网络可以作为深度强化学习的骨干网络，无需混合其他网络模块。

• 性能提升：在在线和离线强化学习任务中，TIT均取得了与现有方法相当或更好的性能，特别是在复杂数据集上表现更优。

• 优化简便性：TIT减少了对复杂优化技巧的依赖，可以直接与流行的强化学习库（如Stable-Baselines3和d3rlpy）结合使用。

  

论文4：

Translating Math Formula Images to LaTeX Sequences Using Deep Neural Networks with Sequence-level Training

使用深度神经网络和序列级训练将数学公式图像翻译为LaTeX序列

方法

• 编码器-解码器架构：采用CNN作为编码器，将数学公式图像转换为特征图；使用双向LSTM作为解码器，结合注意力机制生成LaTeX标记序列。

• 二维位置编码：在特征图中加入二维位置编码，增强模型对数学符号空间关系的理解。

• 序列级训练：使用BLEU分数作为优化目标，通过强化学习中的策略梯度算法进行序列级训练，优化整个模型。

  

创新点

• 性能提升：在IM2LATEX-100K数据集上，模型在BLEU分数和图像相似性测量方面均取得了最先进的性能，BLEU分数达到90.28%。

• 空间关系建模：通过二维位置编码，模型能够更好地捕捉数学符号的空间关系，提高了对复杂数学公式的翻译能力。

• 序列级优化：引入序列级训练目标，使模型能够更好地考虑LaTeX语法的上下文信息，提升了整体翻译质量。

  

小编整理了CNN+LSTM+Attention论文代码合集

需要的同学

回复“111”即可全部领取