PyTorch笔记 - Recurrent Neural Network(RNN) 循环神经网络

循环神经网络，RNN(Recurrent Neural Network)：

• 记忆单元分类：RNN(Recurrent Neural Network)、GRU(Gate Recurrent Unit)、LSTM(Long Short-Term Memory)
• 模型类别：单向循环、双向循环、多层单向或双向叠加
• 优缺点：
  • 优点：可以处理变长序列、模型大小与序列长度无关、计算量与序列长度呈线性增长、考虑历史信息、便于流式输出、权重时不变
  • 缺点：串行计算比较慢、无法获取太长的历史信息
• 应用：AI诗歌生成、文本情感分类、词法识别、机器翻译、语音识别/合成、语言模型

不同类型的RNN效果对比：

• delay 3，预测第1帧时，使用第3帧输入的结果，模型已经看到第1~3帧，看到更多上下文，提升预测效果。