4、神经网络架构、前向传播与激活函数详解

神经网络架构、前向传播与激活函数详解

1. 神经网络架构类型

神经网络有多种架构类型，每种都有其独特的特点和应用场景。
- 前馈神经网络（FFNNs） ：这是最常用的神经网络类型。它由输入层、输出层和中间的隐藏层组成。网络在输入和输出之间进行一系列变换，每一层都对上一层的活动进行非线性变换，从而得到输入的新表示。FFNNs 是多层分类器，层与层之间由非线性函数（如 sigmoid、tanh、ReLU、selu、softmax）分隔，也被称为多层感知器。它可以用于分类任务，还能作为自编码器进行无监督特征学习。
- 卷积神经网络（ConvNets） ：如今，几乎所有基于视觉的最先进的深度学习成果都是通过卷积神经网络实现的。它由卷积层组成，这些卷积层充当分层特征提取器，主要用于图像分类、文本分类、目标检测和图像分割等任务。
- 循环神经网络（RNNs） ：这是一种更有趣的架构，信息可以循环流动。RNNs 通过在时间 t 的聚合状态和时间 t 的输入上递归应用同一组权重来对序列进行建模。它是深度网络，每个时间片都有一个隐藏层，在每个时间片使用相同的权重并接收输入。RNNs 可以长时间存储过去的信息，但训练难度较大。不过，在训练循环神经网络方面已经取得了很大进展，它现在可以完成一些相当令人印象深刻的任务。RNN 的对应变体包括长短期记忆网络（LSTMs）和门控循环单元（GRUs），它们在大多数序列建模任务中都是最先进的网络，可用于文本分类、机器翻译、语言建模等序列建模任务。

下面是一个简单的 RNN 架构示意图：