Resnet50 中的核心算法,除了卷积、池化、bn、relu之外,在最后一层还有一个全连接。
下图是 Resnet50 网络结构结尾的部分,最后一层 Gemm(通用矩阵乘法)实现的就是全连接操作。而矩阵乘法我们之前介绍过,传送门在:矩阵乘。
卷积也好,矩阵乘法也好,其目的都是为了完成神经网络中的特征融合,这是其本质。
神经网络的运算,也是为了更好的完成输入数据的特征提取和融合,从而识别一张图片、一个句子。
那么,全连接层和卷积层甚至矩阵乘法又有什么区别和联系呢?
1、全连接层
全连接层(Fully Connected Layer),也称为密集连接层(Dense Layer),在全连接层中,每个神经元与前一层的每个