《PyTorch深度学习实践》学习笔记：反向传播

最新推荐文章于 2025-03-12 14:46:22 发布

lizhuangabby

最新推荐文章于 2025-03-12 14:46:22 发布

阅读量717

点赞数 1

分类专栏： pytorch 文章标签：深度学习 pytorch 学习

本文链接：https://blog.csdn.net/lizhuangabby/article/details/125548170

版权

本文详细介绍了反向传播的概念及其在PyTorch中的实现，通过一个简单的线性模型和训练过程展示反向传播如何计算梯度并更新权重。在代码练习部分，展示了线性模型和二次模型的训练，以及损失函数随训练迭代收敛的过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

一、反向传播

前馈计算：
示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。
权重维度增加：
在这里插入图片描述
权重维度增加且增加多个层，但化简后还是线性的：

增加激活函数，从而增加非线性：

反向传播计算梯度，使用的是链式法则：

Pytorch里面数据类型Tensor，有两个属性一个data，一个grad：

w是Tensor(张量类型)，Tensor中包含data和grad，data和grad也是Tensor。grad初始为None，调用l.backward()方法后w.grad为Tensor，故更新w.data时需使用w.grad.data。如果w需要计算梯度，那构建的计算图中，跟w相关的tensor都默认需要计算梯度。
w是Tensor， forward函数的返回值也是Tensor，loss函数的返回值也是Tensor。
本算法中反向传播主要体现在，l.backward()。调用该方法后w.grad由None更新为Tensor类型，且w.grad.data的值用于后续w.data的更新。
l.backward()会把计算图中所有需要梯度(grad)的地方都会求出来，然后把梯度都存在对应的待求的参数中，最终计算图被释放。
取tensor中的data是不会构建计算图的。

参考：https://blog.csdn.net/bit452/article/details/109643481

二、代码练习

import torch
x_data = [1.0,2.0,3.0]
y_data = [2.0,4.0,6.0]

w =torch.tensor([1.0])
w.requires_grad = True # 能够计算梯度

# 前向传播
def forward(x):
    return x * w # w是一个tensor，所以此处x会自动进行类型转换

# 损失函数
def loss(x,y):
    y_pred = forward(x)
    return (y_pred-y)**2

print("predict (before training)"

最低0.47元/天解锁文章