Zifeng Wu的38层网络：Wider or Deeper: Revisiting the ResNet Model for Visual Recognition

TITLE: Wider or Deeper: Revisiting the ResNet Model for Visual Recognition

作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客 本文网址 第1章 卷积神经网络基础 1.1 卷积神经发展与进化史 AlexNet是深度学习的起点，后续各种深度学习的网络或算法，都是源于AlexNet网络。 [人工智能-深度学习-31]：卷积神经网络CNN - 常见卷积神经网络综合比较大全_文火冰糖（王文兵）的博客-CSDN博客作者主页(文火冰糖的硅基工坊)：文火冰糖（王文兵）的博客_文火冰糖的硅基工坊_CSDN博客本文网址：第1章 人工智能发展.

转载自：https://blog.csdn.net/chenyuping333/article/details/82344334 详解深度学习之经典网络架构（六）：ResNet 两代（ResNet v1和ResNet v2） 一、ResNet v1 二、ResNet v2 一、ResNet v1 一说起“深度学习”，自然就联想到它非常显著的特点“深、深、深”（重要的事说三遍），通过很深...

博客：博客园 | CSDN | blogResnet要解决的是什么问题ResNets要解决的是深度神经网络的“退化”问题。什么是“退化”？我们知道，对浅层网络逐渐叠加layers，模型在训练集和测试集上的性能会变好，因为模型复杂度更高了，表达能力更强了，可以对潜在的映射关系拟合得更好。而 “退化”指的是，给网络叠加更多的层后，性能却快速下降的情况。训练集上的性能下降，可以排除过拟合，BN层的引入也...

作为CVPR2017年的Best Paper, DenseNet脱离了加深网络层数(ResNet)和加宽网络结构(Inception)来提升网络性能的定式思维,从特征的角度考虑,通过特征重用和旁路(Bypass)设置,既大幅度减少了网络的参数量,又在一定程度上缓解了gradient vanishing问题的产生.结合信息流和特征复用的假设,DenseNet当之无愧成为2017年计算机视觉顶会的年度最佳论文.如上图，随着模型网络层次的加深，模型的复杂度越来越高，

本文是博主在paper reading时的ppt，主要涉及三篇论文： 1. Residual Networks Behave Like Ensembles of Relatively Shallow Networks（nips） 2. On the Connection of Deep Fusion to Ensembling（微软亚研） 3. Wider or Deeper: Revisi

本文介绍了一种名为“渐进提示”（Progressive Prompts）的方法，用于在不依赖数据回放或大量任务特定参数的情况下，通过为每个新任务学习一个软提示并将其与之前学习的提示串联起来，实现语言模型在连续学习中的正向迁移和抵抗灾难性遗忘。

这篇文章是Deep Residual Learning for Image Recognition 的翻译，精简部分内容的同时补充了相关的概念，如有错误，敬请指正。

写在前面：本篇博客只是记录本人在这周看论文的过程中的一些思考，没有一点儿教程或其他意思，由于时间不够，某些细节的部分必然不会那么详细，分享出来就是想着能帮到看到的人也算是一件幸事，想了解细节的小伙伴还是建议去读原文。由于本人也是初学者，如果有理解不到位的地方还请路过的大佬不吝赐教。 Multi-Layer Pseudo-Supervision for Histopathology Tissue Semantic Segmentation using Patch-level Classification La

由于新模型在添加层后可能得出更优的解来拟合训练数据集，因此添加层似乎更容易降低训练误差。然而在实践中，添加过多的层后训 练误差往往不降反升。

ResNet = Residual Network 所有非残差网络都被称为平凡网络，这是一个原论文提出来的相对而言的概念。 残差网络是2015年由著名的Researcher Kaiming He(何凯明)提出的深度卷积网络，一经出世，便在ImageNet中斩获图像分类、检测、定位三项的冠军。 残差网络更容易优化，并且能够通过增加相当的深度来提高准确率。核心是解决了增加深度带来的副作用（退化问题）...

ResNet（Residual Network）是由微软亚洲研究院的何凯明等人在2015年提出的深度学习模型。ResNet采用残差学习的思想，通过在网络中添加跨层连接（shortcut connection）来解决深度神经网络训练过程中的梯度消失和梯度爆炸问题，使神经网络的训练深度可以达到数百层甚至上千层。

对应的输入输出特征矩阵shape是一样的，不需要虚线的残差;而对于更深层的网络resnet50/101/152,通过最大池化下采样之后它所得到的特征矩阵shape为。所对应的一系列残差结构，它们的第一层也是虚线的残差结构，但是它们的虚线结构只用来特征输出特征矩阵的channel,而对于。,因为第一层必须要将它上一层的特征矩阵的高和宽以及channel调整为当前层所需要的高宽以及channel.所以通过。下图是使用residual结构的卷积网络，可以看到随着网络的不断加深，效果并没有变差，反而变的更好了。

文章目录前言一、ResNet的几种结构二、ResNet-18 ResNet-501. 网络结构2. 两种Block的实现 前言 本文介绍ResNet网络结构，以及用pytorch实现两种残差结构。文章末尾有ResNet的实现 提示：以下是本篇文章正文内容，下面案例可供参考 一、ResNet的几种结构 ResNet分为18层的，34层的，50层的，101层的，152层的。每种都是由两种block结构堆叠而成，一种是叫做BasicBlock，一种叫做BottleneckBlock。 二、ResNet-1

resnet系列结构图 BasicBlock Bottleneck 见图1: 相关文章： https://blog.csdn.net/qq_42278791/article/details/90690747 ...

本篇主要介绍Wider ResNet，其他Resnet系列及其变体介绍 见如下blog目录： ResNet系列及其变体(一)—ResNetv1 Resnet系列及其变体(二)—Wider ResNet Wider ResNet Wide Residual Networks 发现问题：实验结果表明越深的网络结构/模型带来的性能提升并不是很明显 改进角度：Block宽度（维度） Wider ResNet提出，每一个Block中的卷积应该更宽。 ResNet：BasicBlock ResNet： Bott

SDNet：重塑视觉识别的稀疏卷积模型 SDNet An official codebase of paper "Revisiting Sparse Convolutional Model for Visual Recognition" 项目地址: https:/...