LSTM与RNN
提起LSTM(长短期记忆神经网络),不得不先说一下RNN,RNN作为循环神经网络,具有记忆功能,在序列建模上具有重要的贡献。根据TensorFlow官方LSTM教程(colah’s Blog):Understanding LSTM Networks (英文)做一些总结,首先看下面几张图:
图1. 带循环的神经网络
图2. 循环神经网络展开
图3. 短依赖
图4. 长依赖
从图1和2中,我们可
提起LSTM(长短期记忆神经网络),不得不先说一下RNN,RNN作为循环神经网络,具有记忆功能,在序列建模上具有重要的贡献。根据TensorFlow官方LSTM教程(colah’s Blog):Understanding LSTM Networks (英文)做一些总结,首先看下面几张图:
图1. 带循环的神经网络
图2. 循环神经网络展开
图3. 短依赖
图4. 长依赖
从图1和2中,我们可