- 博客(7)
- 收藏
- 关注
RSS订阅原创 论文《Learning Phrase Representations using RNN Encoder–Decoderfor Statistical Machine Translation》解析
论文《Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation》是由Kyunghyun Cho等人于2014年发表的。该论文主要有两个贡献：(1)是提出了RNN Encoder-Decoder架构，首次将Seq2Seq模型引入到统计机器翻译（SMT），为后溪基于神经网络的机器翻译奠定了基础；
2025-04-21 13:34:20
1026
原创 LSTM算法十问
核心结构PyTorch通过nn.LSTMinput_size：输入特征维度（如词向量维度）：隐藏层神经元数量num_layers：LSTM堆叠层数：输入数据的维度顺序（默认False，建议设为True）示例代码# 初始化隐藏状态和细胞状态# LSTM前向传播out = self.fc(out[:, -1, :]) # 取最后一个时间步的输出return out关键参数说明输入输出维度：输入数据形状为，输出为隐藏状态初始化：需手动初始化h0（隐藏状态）和c0（细胞状态），默认全零初始化。
2025-04-12 23:47:19
571
原创 LSTM思想解析—论文精读（Learning to Forget: Continual Prediction with LSTM）
遗忘门的提出是为了解决：输入数据是连续的数据流，造成激活函数h(x)饱和，从而出现梯度消失或记忆细胞退化为普通BPTT的问题。遗忘门的作用就是让记忆单元可以在适当的时间将状态进行重置，从而丢弃那些内容过时且无用的信息。图2上图为添加遗忘门后的LSTM结构。在图中，表示遗忘门。与其他门的计算方式一样，遗忘门的计算公式为：（10）激活函数为sigmoid函数，因此的取值范围为0~1。根据上图红框中的公式，公式（6）变为了：（11）
2025-03-25 11:51:30
1210
原创 LSTM思想解析—论文精读（Long Short-Term Memery）
最近在学习LSTM(Long Short-term Memory )，网上的文章基本上都是基于下图对LSTM进行介绍。然而，有几个问题一直困扰着我：LSTM与相比，它能够有效处理长依赖问题（long time lags），原因是什么呢？LSTM的网络架构为什么要设计成这样呢？引入门控机制的原因是啥呢？为了解答上述疑惑，我翻阅网上的文章、咨询DeepSeek和豆包，均没有找到我想要的答案。因此，我决定阅读原论文，通过论文去了解作者的思想。
2025-03-14 21:10:10
1301
原创 RNN循环神经网络之RNN十问
回忆一下RNN的基本结构。例如，在进行文本处理时，序列数据中包含了N条句子（这个N条句子之间相互独立，无先后顺序），一个 batch 可能包含了其中的若干条句子，样本间是可以并行计算的。随着序列长度的增加，较早时间步的信息在经过多次线性变换和非线性激活后，会逐渐被稀释，难以完整地保留和传递到后续时间步，导致模型对长序列中的早期信息记忆能力下降。如果不是按照batch输入，而是一个字一个字依次输入模型，计算梯度时采用的是随机梯度下降法，那么梯度的估计可能会非常不稳定，因为单个样本的特征可能具有较大的随机性。
2025-02-06 22:27:03
1330
原创 RNN循环神经网络之代码实现
RNN循环神经网络原理介绍详见。本篇主要通过Pytorch实现RNN，包括手动编写代码实现及基于Pytorch自带的RNN去实现。
2025-02-05 23:23:23
1432
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人