xiaoyaolangwj的博客

第十章：自然语言处理因本人主要方向为计算机视觉，对于自然语言处理技术暂未过多涉及。为完结本书，仅仅将目录整理如下。1、词嵌入2、近似训练3、word2vec的实现4、子词陷入（fastText）5、全局向量的词嵌入（GloVe）6、求近义词和类比词7、文本情感分类：使用循环神经网络8、文本情感分类：使用卷积神经网络（textCNN）9、编码器-解码器（seq2seq）10、束搜索11、注意力机制12、机器翻译...

第一章 深度学习简介与其设计⼀个解决问题的程序，不如从最终的需求⼊⼿来寻找⼀个解决⽅案。事实上，这也是⽬前的机器学习和深度学习应⽤共同的核⼼思想：我们可以称其为“⽤数据编程”。机器学习是⼀⻔讨论各式各样的适⽤于不同问题的函数形式，以及如何使⽤数据来有效地获取函数参数具体值的学科。深度学习是指机器学习中的⼀类函数，它们的形式通常为多层神经⽹络。1、起源⾃古以来，⼈类就⼀直渴望能从数据中分析出预知未来的窍⻔。实际上，数据分析正是⼤部分⾃然科学的本质，我们希望从⽇常的观测中提取规则，并找寻..

在此本人要强调一点，原书使用ApacheMXNet框架，但是有个北大的学生却完成了Pytorch版，接下来主要是对与Pytorch版的学习整理，如果有需要求自行学习ApachMXnet。B站上甚至都有ApacheMXNet的斑竹。还可以自行下载官方文档pdf。真的开源free，pdf免费下载。对应PyTorch版本的github。第二章 预备知识1、环境配置1.1 Anaconda用conda主要解决不同Python版本环境下的兼容问题。1.2 Jupyter便于后期回顾和记录输..

第三章 深度学习基础一、线性回归模型：基于输入计算输出的表达式。训练模型：通过数据来寻找特定的模型参数值，使模型在数据上的误差尽可能小的过程。找到表达式的参数w1和w2以及b。训练数据：真实数据样本（sample）。标签标注（label）。预测标签的两个因素叫做特征(feature)。特征用来表征样本的特点。损失函数：衡量表达式预测值和真实值之间的误差。最小二乘法。训练模型就是希望基于训练数据找到一组模型参数，来使训练样本的损失函数最小。优化算法：当模型和损失函数简单时，..

第四章 深度学习计算一、模型构造1、继承Module类来构造模型Module类是nn模块里提供的一个模型构造类，是所有神经网络模块的基类，我们可以继承它来定义我们想要的模型。下面继承Module类构造本节开头提到的多层感知机。这里定义的MLP类重载了Module类的__init__函数和forward函数。它们分别用于创建模型参数和定义前向计算。前向计算也即正向传播。import torchfrom torch import nnclass MLP(nn.Module):...

第五章 卷积神经网络几个具有代表性的深度卷积神经网络的设计思路：1、最早提出的AlexNet2、后来使用重复元素的网络VGG3、网络中的网络NiN4、含并行连结的网络GoogleNet5、残差网络ResNet6、稠密连接网络DenseNet本章中：批量归一化和残差网络为训练和设计深度模型提供了两类重要思路。一、二维卷积层1、二维互相关运算卷积层得名于卷积（convolution）运算，但是我们通常在卷积层中使用更加直观的互相关运算。2、二维卷...

第六章 循环神经网络与之前介绍的多层感知机和能有效处理空间信息的卷积神经网络不同，循环神经网络是为更好地处理时序信息而设计的。它引入状态变量来存储过去的信息，并用其与当前的输入共同决定当前的输出。循环神经网络常用于处理序列数据，如一段文字或声音、购物或观影的顺序，甚至是图像中的一行或一列像素。因此，循环神经网络有着极为广泛的实际应用，如语言模型、文本分类、机器翻译、语音识别、图像分析、手写识别和推荐系统。本章中的应用是基于语言模型的，所以我们将先介绍语言模型的基本概念，并由此激发循环神经..

第七章 优化算法一、优化与深度学习在一个深度学习问题中，我们通常会预先定义一个损失函数。然后使用优化算法试图将其最小化。在优化中，这样的损失函数通常被称作优化问题的目标函数。解析解和数值解。深度学习模型的目标函数可能有若干局部最优值。当一个优化问题的数值解在局部最优解附近时，由于目标函数有关解的梯度接近或变成零，最终迭代求得的数值解可能只令目标函数局部最小化而非全局最小化。由于深度学习模型参数通常都是高维的，目标函数的鞍点通常比局部最小值更常见。二、梯度下降和随机梯度下降...

第八章 计算性能一、命令式和符号式混合编程二、异步计算三、自动并行计算四、多GPU计算五、多GPU计算的简洁实现

第九章 计算机视觉先介绍两种有助于提升模型泛化能力的方法：图像增广和微调。鉴于深度神经网络能够对图像逐级有效地进行表征：所以广泛应用到目标检测、语义分割和样式迁移这些主流计算机视觉任务中。全卷积网络对图像做语义分割。样式迁移技术生成封面图像。一、图像增广图像增广（image augmentation）技术通过对训练图像做一系列随机改变，来产生相似但又不同的训练样本，从而扩大训练数据集的规模。图像增广的另一种解释是，随机改变训练样本可以降低模型对某些属性的依赖，从而提高模型的泛..