向量和矩阵的backward

红糖果仁沙琪玛

于 2023-04-16 15:01:45 发布

阅读量224

点赞数

分类专栏： pytorch 文章标签：矩阵线性代数 python

本文链接：https://blog.csdn.net/K_ZhJ18/article/details/130182332

版权

pytorch 专栏收录该内容

4 篇文章

订阅专栏

文章介绍了在PyTorch中进行向量和矩阵乘法时，如何使用`backward`方法计算梯度。通过示例展示了当输入`x1`和权重`w`确定时，计算输出`y1`的梯度过程，以及对于矩阵乘法，输入矩阵`x`和权重`w`的梯度计算方法。强调了`backward`参数需与输出维度匹配，且变量的梯度与自身维度相同。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

向量：

有y=w*x，取w、x分别如下且y得：

x1 = tc.tensor([[5],[6]], dtype=tc.float32, requires_grad=True)
w = tc.tensor([[10,20],[30,40]], dtype=tc.float32, requires_grad=True)
y1 = tc.mm(w, x1)

y1: tensor([[170.],
        [390.]], grad_fn=<MmBackward0>)

经过backward后取x1.grad为：

y1.backward(tc.tensor([[4],[5]]))

x1_Grad: tensor([[190.],
        [280.]])

这是由于 $\frac{\sigma y}{\sigma w} = \frac{\sigma \left ( w*x \right )}{w}=w^{T}$ ，将得到的 $w^{T}$ 乘以backward中的参数张量[[4],[5]]得此结果。

矩阵

只需把m*n维的矩阵x看成m个向量分别作为输入即可。
例如：

x = tc.tensor([[1,2],[3,4]], dtype=tc.float32, requires_grad=True)
w = tc.tensor([[10,20],[30,40]], dtype=tc.float32, requires_grad=True)
y = tc.mm(w, x)

y: tensor([[ 70., 100.],
        [150., 220.]], grad_fn=<MmBackward0>)

backward一下

y.backward(tc.tensor([[1,2],[2,3]]))

结果是 $w^{T}$ 和backward中的参数张量[[1,2],[2,3]]相乘得到的

x_Grad: tensor([[ 70., 110.],
        [100., 160.]])

注意

矩阵A和矩阵B相乘后对A求偏导得B，对B求偏导得 $A^{T}$ 。并且y的backward中的参数要和y的维数相同，并且某个变量的梯度是要和自身维数相同的。