A Long Short-Term Memory for AI Applications in Spike-based Neuromorphic Hardware

核心要点：提出了一种和传统DNN中的LSTM结构类似的神经元AHP，通过神经元上添加类似残差的连接增加了反向梯度，使得梯度能够在时序上传的更远，增强神经网络的训练。

技术实现上，为了将脉冲神经网络部署到硬件上，提出了一种新的正则化方法和多片布局方法

正则化的方法主要是限制脉冲发放的次数，即让神经网络在使用尽量少的脉冲发放的情况下实现相同的精度。这样可以直接带来能耗的降低。

因为每个Loihi芯片包含128个神经形态核心，每个核心神经元数量限制在1024，片内的突触连接数量限制在4096，片间的连接数量限制在2048。文中使用了22个芯片共计2308个核。因为片内的通讯延迟比片间低，为了减少延迟，布局上将连接多的模块放到同一个片上。

启发：主要在于网络部署到硬件上对硬件资源的考虑，这个在前期做网络的时候没有考虑过，前期思考更多的还是如果让网络在任务精度上有效。