【深度学习】Transformer梳理

已于 2024-05-30 11:19:49 修改
阅读量1.8k 收藏 23
点赞数 13
分类专栏： 深度学习 文章标签： 深度学习 transformer 人工智能
于 2024-05-29 03:02:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gzr_csdn/article/details/139281424
版权

零、前言

对于transformer，网上的教程使用记号、术语不一 。
最关键的一点，网上各种图的简化程度不一 （画个图怎么能这么偷懒） ，所以我打算自己手画一次图。
看到的最和善（但是不是那么靠谱，我怀疑图有误）的transformer教程：一文了解Transformer全貌（图解Transformer）

注意： 全连接层在概念上输入必须是一维向量，但是实际实现的时候我们会采用批处理将多个样本的向量组拼成矩阵，用矩阵乘法加速运算。如果用单一样本的向量来标注全文可能更清晰，但是为了更贴近实用，约定全文的输入长这个样子而不是向量：

输入为X矩阵其实，输入也不是矩阵。。。输入是3维张量，三个维度分别是batch_size, number（当前用到的词数）, dimension（特征维度）
其中，number没有画出来，你可以按number=1来想，当成矩阵方便一些

一、前置基础中的前置基础

  • RNN
  • 残差连接（无论什么书，通常会在CNN的ResNet这一节中讲）
  • 归一化
  • 注意力机制
最低0.47元/天 解锁文章
深度学习笔记——Transformer
haopinglianlian的博客
11-24 1345
本文详细介绍面试过程中可能遇到的Transformer知识点。
Transformer知识梳理
介绍AI领域相关知识
01-05 845
Transformer模型本质上都是预训练语言模型，大部分采用自监督学习（Self-supervised Learning）的方式在大量生语料上进行训练，也就是说，训练这些Transformer模型完全不需要人工标注数据。自监督学习是一种训练目标可以根据模型的输入自动计算的训练方法。基于句子的前n个词来预测下一个词，因为输出依赖于过去和当前的输入，因此该任务被称为因果语言建模（causal language modeling）。
深度学习——transformer
菜到怀疑人生的博客
04-07 4194
文章目录前言self attention 前言 目前transformer在计算机视觉中非常火热，在面试过程中，也被面试官询问过相应内容，在此做一个简单的总结 self attention Transformer中的self attention和CV中的attention机制非常近似，都是通过建立一组输入数据之间的联系，来决定哪部分数据更为重要。本节将介绍self attention的具体流程 首先，self attention中存在三个非常重要的vector，分别是key vector、query vec
训练Transformer模型：从数据准备到模型训练
最新发布
weixin_36364707的博客
04-12 392
本篇博客详细介绍了如何准备和训练Transformer模型以进行神经机器翻译。内容包括准备训练数据集、应用填充掩码于损失和准确率计算、以及模型训练的步骤。通过具体的代码示例和理论解释，读者可以了解到从数据清洗到模型训练的完整流程。
【深度学习之Transformer】
m0_53374472的博客
10-21 1200
Transformer学习笔记
【深度学习】Transformer
开心星人的博客
07-03 1078
李宏毅深度学习笔记Transformer 是一个基于自注意力的序列到序列模型，与基于循环神经网络的序列到序列模型不同，其可以能够并行计算。
深度学习：transformer模型
热门推荐
皮皮blog
12-10 5万+
Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder模型必须结合cnn或者rnn的固有模式，只用attention，可谓大道至简。文章的主要目的是在减少...
深度学习笔记（1）机器学习与深度学习基础
hanliu2003的博客
08-28 1196
一些深度学习的简单概念和Transformer的学习。
深度学习：蒲公英书手推
09-01
深度学习中的主要模型包括卷积神经网络（CNN）、循环神经网络（RNN）、长短时记忆网络（LSTM）以及自注意力机制的Transformer等。CNN主要用于处理图像数据，通过卷积层提取特征，池化层降低维度，全连接层进行分类。...
深度学习-ConvNeXt + ParC Net论文梳理-组会汇报PPT
10-24
深度学习领域的最新进展展示了卷积神经网络（ConvNets）与Transformer模型的融合与相互影响。本篇将重点梳理两篇重要论文中的概念——ConvNeXt和ParC Net，它们都是在现有技术基础上对卷积网络进行改进，以提升性能...
深度学习-详细讲解Transformer
ssshyeong的博客
10-14 3255
@TOC[图解Transformer] 1.关于Transformer Transformer 是在论文Attention is All You Need 中提出的。在这篇文章中，我们将介绍The Transformer——一种使用注意力来提高这些模型训练速度的模型。Transformers 在特定任务中的表现优于 Google 神经机器翻译模型。然而，最大的好处来自 The Transformer 如何将其自身用于并行化。因此，让我们尝试分解模型并看看它是如何运作的。 2.宏观视角分析 让我们首先将模型视
深度学习学习经验——变换器（Transformer）
Linductor的博客
08-23 1613
变换器（Transformer）是一种用于处理序列数据的深度学习模型，与循环神经网络（RNN）不同，它不依赖于顺序处理数据，而是依靠一种称为**注意力机制**（Attention Mechanism）的技术来捕捉序列中的依赖关系。Transformer 的核心组件包括 **自注意力**（Self-Attention）和 **多头注意力**（Multi-Head Attention），这些机制使 Transformer 能够在自然语言处理、机器翻译等任务中表现出色。
深度学习 | Transformer模型及代码实现
"You are worthy! You can do it!"
01-01 7621
Transformer 与 RNN 不同，可以比较好地并行训练。Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加位置 Embedding，否则 Transformer 就是一个词袋模型了。Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V矩阵通过输出进行线性变换得到。
深度学习-Transformer详解
fzz97_的博客
02-06 9992
主要介绍了Transformer模型，注意力机制
自然语言处理 - Self-attention 到 Transformer
weixin_41332009的博客
03-06 724
先修知识： RNN https://blog.csdn.net/weixin_41332009/article/details/114023882?spm=1001.2014.3001.5501 RNN 变种 https://blog.csdn.net/weixin_41332009/article/details/114044090?spm=1001.2014.3001.5501 Seq2seq+attention https://blog.csdn.net/weixin_41332009/articl
深度学习之Transformer模型及原理学习篇（详细！）
weixin_44956153的博客
09-27 5645
Transformer 与 RNN 不同，可以较好地并行训练Transformer 本身是不能利用单词的顺序信息的，因此需要在输入中添加 Positional Encoding 位置编码，否则 Transformer 就是一个词袋模型了Transformer 的重点是 Self-Attention 结构，其中用到的 Q, K, V 矩阵通过线性变换得到。
Transformer模型架构笔记
消极的人永远是对的，积极的人选择勇往直前
05-28 1179
Transformer是一种用于自然语言处理（NLP）和其他序列到序列（sequence-to-sequence）任务的深度学习模型架构，它在2017年由Vaswani等人首次提出。Transformer架构引入了自注意力机制（self-attention mechanism），这是一个关键的创新，使其在处理序列数据时表现出色。
【自然语言处理】Transformer架构
藓类少女的博客
06-26 2035
Transformer是一种深度学习模型，最早由Vaswani等人在2017年的论文中提出。它最初用于自然语言处理（NLP）任务，但其架构的灵活性使其在许多其他领域也表现出色，如计算机视觉、时间序列分析等。以下是对Transformer模型的详细介绍。
深度学习在车牌识别中的应用与Transformer模型
文件名中的“深度学习_车牌识别_Transformer_MobileNe”暗示了本项目将结合最新的深度学习架构，以优化车牌识别的精度和效率。此项目可能涉及Python编程，因为它被广泛应用于深度学习项目中。此外，从文件结构可以...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值