D2L-pytorch版 Task02笔记

文本预处理

  • 先分词,将长句文本划分为词(token),转化成词序列。然后建立字典,将词映射到索引编号,即将字符串转化为数字以方便模型处理。接着就可以把文本的句子转化为索引序列。spaCy、NLTK是很好的分词工具。

语言模型

  • 语言模型的参数就是词的概率以及给定前几个词情况下的条件概率。n元语法通过马尔可夫假设简化模型,马尔科夫假设是指一个词的出现只与前面n个词相关,即阶马尔可夫链,存在参数空间过大和数据稀疏的问题。时序数据的采样常用随机采样和相邻采样。

循环神经网络基础

  • 基于当前的输入与过去的输入序列,预测序列的下一个输出,同时这个输出也是下一个时刻的输入。one-hot向量指只有一个元素是1,其他元素为0的向量。循环神经网络中较容易出现梯度衰减或梯度爆炸,这会导致网络几乎无法训练。裁剪梯度(clip gradient)是一种应对梯度爆炸的方法。
PyTorch中实现双分支神经网络,可以通过定义两个独立的分支,并将它们合并在一起来实现。以下是一个示例代码,展示了如何修改VGG网络实现双分支输入。 ```python import torch from torch import nn from d2l import torch as d2l # 定义VGG网络的一个卷积块 def vgg_block(num_convs, in_channels, out_channels): layers = [] for _ in range(num_convs): layers.append(nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1)) layers.append(nn.ReLU()) in_channels = out_channels layers.append(nn.MaxPool2d(kernel_size=2, stride=2)) return nn.Sequential(*layers) # 定义双分支神经网络 class TwoBranchNet(nn.Module): def __init__(self, num_classes): super(TwoBranchNet, self).__init__() self.branch_a = vgg_block(2, 3, 64) # 第一个分支 self.branch_b = vgg_block(3, 3, 64) # 第二个分支 self.fc = nn.Linear(64 * 8 * 8, num_classes) # 全连接层 def forward(self, x_a, x_b): out_a = self.branch_a(x_a) out_b = self.branch_b(x_b) out = torch.cat((out_a, out_b), dim=1) # 将两个分支的输出拼接在一起 out = out.view(out.size(0), -1) out = self.fc(out) return out # 创建模型实例 model = TwoBranchNet(num_classes=10) ``` 在这个示例中,我们定义了两个独立的分支`branch_a`和`branch_b`,然后将它们的输出使用`torch.cat`函数在维度1上进行拼接,即将它们的通道数相加。最后,我们通过全连接层将拼接后的输出映射到所需的类别数。 请注意,这只是一个简单的示例,具体的架构和超参数应根据任务和数据的特点进行调整和优化。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [深度学习笔记其六:现代卷积神经网络和PYTORCH](https://blog.csdn.net/qq_28087491/article/details/126628880)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [pytorch+VGG16 双分支输入 图像分类](https://blog.csdn.net/qq_41638200/article/details/115725586)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值