好想学会深度学习啊-CSDN博客

原创 Pytorch学习笔记（二）反向传播与梯度下降

1.requires_grad和grad_fn为了便于在反向传播的过程中计算梯度，可以在使用grad_fn来保存该tensor的运算过程。当我们需要启动grad_fn时，需要将requires_grad设置为True。t=torch.tensor([1.0,2.0,3.0],requires_grad=True) #这里的tensor必须为浮点型，否则会报错print(t) #tensor([1., 2., 3.], requires_grad=True)t=t+2*tprin..

2022-05-03 20:40:30 413

原创 Pytorch学习笔记（一）tensor的基本操作

学习材料：Pytorch 入门到精通全教程卷积神经网络循环神经网络_哔哩哔哩_bilibili1.创建tensor（1）使用列表或者数组创建tensor#使用列表为参数torch.Tensor([[1,2,3],[4,5,6]])#使用array作为参数torch.Tensor(np.array([[1,2,3],[4,5,6]]))（2）使用torch自带的api创建tensortorch.ones([3,4]) #创建3行4列值为1的tensortorch...

2022-05-03 00:12:20 1132

原创 NLP学习笔记（一）——BERT模型初步了解

参考资料：李宏毅NLP(自然语言处理)完整课程，强推！_哔哩哔哩_bilibili1. 我们想要什么样的模型？从人的认知角度来说，比如我们想考托福，首先要背单词，掌握英语语法知识等等，然后再找到真题来做一做，适应一下考试的内容。我们期待让机器也能做到这样的事情，即我预先丢给机器一些知识储备，机器用这些知识预训练（pre-train）出一个模型，然后解决具体问题的时候，只需要基于已有的知识对模型进行微调（fine-tune）就可以了。2.预训练对于NLP来说，我们希望预训练过程做到一件

2022-04-03 08:54:17 431

原创李宏毅深度学习笔记（五）——循环神经网络（RNN）

RNN处理的主要是具有顺序关系的序列。比如在一个订票系统中，需要从用户的一句话中提取出出发地，目的地和交通方式等信息，实现智能订票。在这种情况下，词语之间顺序的改变可能会带来不一样的结果。RNN可以实现通过前面的词语推断后面的词语属于何种信息。比如“到达”后面通常是目的地，“从”后面通常是出发地。1.RNN的基本架构RNN的基本思想就是在处理一个新的输入的同时，考虑之前结果的影响。如图是一个简单的RNN，图中的x1和x2是输入，绿色的圆圈代表hiddenlayer，橙色的y1和y2代表输出，而蓝色.

2021-08-10 18:22:06 760

原创李宏毅深度学习笔记（四）——卷积神经网络（CNN）

在图像处理中，神经网络的输入就是图像上的一个个像素，输入向量的维度就等于图像的像素数量，因此如果使用一般的神经网络（FullyConnectedFeedforwardNetwork），会导致参数过多并且使得训练效率低下。于是，我们想到可以利用图像处理的一些特性得到一种更简单的神经网络，这就是卷积神经网络（CNN）。1.图像处理的性质（1）决定一个图片的“模式”（比如图片里是否有某个物体）可以通过图像里面的一小部分决定。比如通过查看图片中是否包含鸟嘴来判断图片中是否有鸟。（2）相同的特征可以...

2021-07-29 20:23:09 686

原创李宏毅深度学习笔记（三）——调整模型的技巧

在训练神经网络的时候，如果没有得到好的结果，我们就需要使用一些特殊的技巧。下面分别讨论在两种不同的情况下，调整模型的方法。1.训练集上得到的误差很大如果模型在训练集上得到的误差就已经很大，说明可能是你没有选择合适的函数集或者是漏掉了最优解，针对这两种情况，可以选择两种改进方法。（1）修改激活函数（activationfunction）在之前两篇文章中使用的激活函数是sigmoid函数，但是sigmoid函数的问题在于它对于输入的变化是不敏感的，也就是说，输入产生的变化对输出的影响是很小的。.

2021-07-28 20:39:36 1613

原创李宏毅深度学习笔记（二）——后向传播（Backpropagation）

Backpropagation解决的是在神经网络中如何有效率的进行GradientDescent算法的问题。更具体地说，假设将LossFunction记为，其中为一个向量，表示所有的参数，那么的梯度表示为Backpropagation就是快速计算的一种方法。定义函数为第n个预测值与真实值之间的距离函数，则LossFunction可以表示为将中的某一个参数记为w，简记为C，下面开始展示的计算过程。如图所示是一个神经元，输入为和，令sigmoid函数的输入，则根据链式法则，....

2021-07-24 20:38:51 548

原创李宏毅深度学习笔记（一）——Deep Learning概要

在机器学习中，执行一个算法通常要经过遵循以下三个步骤：（1）定义一个函数集；（2）定义函数的好坏；（3）训练参数，得到不同的函数，并选择最好的函数DeepLearning同样遵循这三个步骤。具体来说，在第一步中，定义的函数集为一个神经网络（neuronnetwork）。1.什么是神经网络如图所示展示了一个神经网络，它是由许多神经元（neuron）组成的一个系统。其中的每个神经元执行这样的操作：将每个输入乘以一个权重后求和，将得到的值加上一个常数作为某个函数的输入，输出得到...

2021-07-24 17:13:27 593

qq_51026159的博客