torch.nn模块之常用激活函数详解

@DWC_DIP

于 2021-01-16 10:46:29 发布

阅读量1.1w

点赞数 14

分类专栏： PyTorch深度学习入门与实战系列文章标签：神经网络深度学习

本文链接：https://blog.csdn.net/DIPDWC/article/details/112686489

版权

本文详细介绍了PyTorch中常见的激活函数，包括Sigmoid、Tanh、ReLU、LeakyReLU和Softplus，讨论了它们的计算公式、优缺点以及在深度学习中的应用。ReLU因其快速的梯度计算和收敛速度成为首选，但存在Dead ReLU问题，Leaky ReLU则是其改进版。Softplus作为ReLU的平滑形式，降低了计算复杂度并有助于深层网络训练。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1. 常用的激活函数

在PyTorch中，提供了十几种激活函数层所对应的类，但常用的激活函数类和和功能如下表1所示。

表1 常用激活函数操作

名称	层对应的类	功能
S型激活函数	`torch.nn.Sigmoid`	Sigmoid激活函数
双曲正切函数	`torch.nn.Tanh`	Tanh激活函数
线性修正单元函数	`torch.nn.ReLu`	ReLu激活函数
ReLu函数变体	`torch.nn.LeakyReLu`	LeakyReLu激活函数
平滑近似ReLu函数	`torch.nn.Softplus`	ReLu激活函数的平滑近似