可以看到，由于我们在 fc2 层使用了 torch.no_grad()，因此 fc2 层的参数的梯度为 None，而 fc1 层的参数的梯度正常计算。当我们将需要固定的参数的 requires_grad 属性设置为 False 时，这些参数在计算梯度时就不会被更新，因此不需要使用 torch.no_grad()。然而，当我们在使用不需要更新的参数进行前向传递时，如果不使用 torch.no_gra

在 PyTorch 中，nn.Linear 的默认 requires_grad 属性是 True，即默认情况下会对线性层的权重和偏置进行梯度计算。nn.Conv2d 的默认 requires_grad 属性是 True，即默认情况下会对卷积层的权重和偏置进行梯度计算。在上述代码中，我们将 conv1 的权重和偏置的 requires_grad 属性设置为 False，这样在 backward()

a=torch.tensor([1,2,3])c=torch.tensor([[1,2,3],[4,5,6]])print(torch.mul(a,c))print(torch.matmul(c,a))tensor([[ 1,4,9],[ 4, 10, 18]])tensor([14, 32])向量点乘：又叫做点积、内积、数量积、标量积，向量a[a1,a2,...,an]和向量b[b1,b2b..

BLEU算法介绍和如何计算：我们先举一个例子来说明：原文：猫站在地上机器译文 (candidate)：the the the the人工译文 (reference)：The cat is standing on the ground在计算1-gram(一元文法)的时候，the都出现在译文中，因此匹配度为4/4 ，但是很明显 the 在人工译文中最多出现的次数只有...

可以看到，x 的梯度为 None，而 y 的梯度为 2，这是因为 x 没有设置 requires_grad，因此 PyTorch 不会为它计算梯度，而 y 的梯度为 2，表示其计算出的梯度值为 2。需要注意的是，如果一个 tensor 设置了 requires_grad=True，那么其依赖的所有 tensor 也会自动设置为 requires_grad=True。这种情况下，PyTorch 不会

分组卷积Group convolution是将输入层的不同特征图进行分组，然后采用不同的卷积核再对各个组进行卷积，这样会降低卷积的计算量。因为一般的卷积都是在所有的输入特征图上做卷积，可以说是全通道卷积，这是一种通道密集连接方式（channel dense connection），而group convolution相比则是一种通道稀疏连接方式具体过程可见我的另一个博客https://blo...

把 supervision的版本 从0.22 变成0.18 就可以了.主要是由于新版本更新，删除了这个参数’labels’，回退到原来的版本。

位置编码的区别：相对位置编码和绝对位置编码是两种不同的位置编码方法。绝对位置编码是一种基于位置嵌入的方法，其中每个位置都被分配了一个唯一的位置向量。这些向量是固定的，与输入序列的内容无关。这种编码方式对于处理较短的序列效果较好，但在处理长序列时可能会存在问题，因为序列的长度超过了模型能够处理的位置编码的范围。相对位置编码是一种基于相对位置的方法，其中每个位置被编码为一个偏移量，表示该位置与其他位置

什么是随机种子？我们知道，随机数是通过一些复杂的数学算法得到的，那么 随机种子（Random Seed）就是这些随机数的初始值。一般计算机里面产生的随机数都是伪随机数。 伪随机数，也是就一个一直不变的数。import numpy as npnum = 0while (num < 5):np.random.seed(0)print(np.random.r...

准确率、召回率和 F 值是在鱼龙混杂的环境中，选出目标的重要评价指标。不妨看看这些指标的定义先：TP-将正类预测为正类FN-将正类预测为负类FP-将负类预测为正类TN-将负类预测为负类准确率（precision）：也叫作查准率。即正确预测为正...