16现代循环神经网络—深度循环与双向循环

1.深度循环神经网络

回顾：循环神经网络

• 如何将循环神经网络变深，以获得更多的非线性？
  • 通过添加多个隐藏层的方式来实现（和 MLP 没有本质区别），每个隐藏状态都连续地传递到当前层的下一个时间步和下一层的当前时间步

• 类似于多层感知机，隐藏层数目和隐藏单元数目都是超参数（它们是可以进行调整的）
• 使用门控循环单元或长短期记忆网络的隐状态替代上图中深度循环神经网络中的隐状态计算，就能够很容易地得到