神经网络与Transformer课程心得

​ 毕设的任务跟时序相关，而目前看到的很多与序列任务相关的论文都涉及到了 Transformer。刚好近日闲来无事，遂在这周学习并复现了 《Attention is all you need》。在这个过程中中遇到了许多曲折，同时也有一些尚未解决的问题。受限于能力和精力的限制，在短短一周内彻底弄清楚Transformer确实是一个比较困难的工作。但是学习的过程本来就是一个否定之否定，认知实践再认知的过程。

Transformer框架代码实现流程： 1.EncoderDecoder类实现编码器-解码器网络结构。 包括五个部分：编码器、解码器、编码器嵌入输入层、解码器嵌入输入层、generator生成输出。 1.1 模型输出：Linear+softmax 1.2 解码器层，包括三个子层：多头注意力子层+规范化层+残差连接、多头注意力层+规范化层+残差连接、前馈全连接层+规范化层+残差连接 1.2.1规范化层：采用layer normalization，防止随着网络层书增加导致计算后输出开始出现过大或者过

Transformer是基于自注意机制(self-attention)的神经网络模型。其经常用于来处理时序数据。我们知道还有另外的常用的两类深度神经网络模型循环神经网络(RNN)和卷积神经网络(CNN)。那么对于Transformer而言，其相较于另外两种的优势在哪呢？其使用自注意机制，可同时并行处理时序数据，计算他们之间的相关性并且其输入时引入了位置编码来保留的序列的相关信息因为其可并行处理，所以训练速度可以很快其结构如下图所示，其特性正是由其结构所决定的，所以接下来带你逐步分析逐层结构。

Self-Attention

Transformer结构： Transformer的本质上是一个Encoder-Decoder的结构，

我的研究方向是显著性目标检测，毕业论文方向是基于Transformer的显著性目标检测研究，随着Transformer机制在自然语言方向逐渐取得巨大突破，有很多学者都把目光投向了计算机视觉方向，显然Transformer在计算机视觉方向也有巨大进展，带着这样的学习目的，我参加了昇思MindSpore技术公开课，希望对Transformer有一个更加深刻而全面的认识，可以更好地开展我的毕业设计。注意力机制的基本思想是在处理输入序列时，不同位置的信息被赋予不同的权重，以便网络更集中地关注对当前任务有用的部分。

学习路径 报名了贪心科技的课程，联邦学习的，总结一些心得，分享给大家 名称 Transformer与联邦学习高阶研修班 贪心学院的联邦学习与隐私计算 总结资料获取路径： 链接：https://pan.baidu.com/s/1eh8cj9-Pr63lK8hSbjJ3dg 提取码：ytk8 话题简介 联邦学习（Federated Learning）是一种新兴的人工智能基础技术，在 2016 年由谷歌最先提出，原本用于解决安卓手机终端用户在本地更新模型的问题，其设计目标是在保障大数据交

在当今数字化浪潮中，人工智能已成为推动各行各业变革的核心力量。其中，多模态模型作为 AI 领域的前沿技术，正逐渐崭露头角。它能够融合文本、图像、音频、视频等多种数据类型，模拟人类的多感官认知方式，对复杂信息进行全方位理解与处理，从而解锁全新的应用场景与无限可能。与闭源模型不同，开源多模态模型秉持开放、共享的精神，将源代码、模型架构、训练数据等宝贵资源向公众公开。这意味着，无论是科研人员、开发者，还是普通爱好者，都能深入探究模型的内在机制，依据自身需求对其进行定制、优化与拓展。

ClipCap提出了一种基于Mapping Network的Encoder-Decoder模型，其中Mapping Network扮演了图像空间与文本空间之间的桥梁。模型主要分为三部分：在当今数字化浪潮汹涌澎湃的时代，人工智能（AI）宛如一颗熠熠生辉的启明星，持续照亮着人类探索未知的征途，不断重塑着我们与世界交互的模式。而在 AI 这一广袤无垠的苍穹之下，图像文本转换技术恰似一条关键的纽带，紧密地串联起视觉与语言这两个看似分立却又内在相通的信息维度，为信息的流通与认知的拓展架起了一座坚实的桥梁。

学习transformer整理的笔记

本文将从三个方面，带您一文搞懂**输入嵌入：将输入的文本转换为向量，便于模型处理。位置编码：给输入向量添加位置信息，因为Transformer并行处理数据而不依赖顺序。多头注意力：让模型同时关注输入序列的不同部分，捕获复杂的依赖关系。残差连接与层归一化：通过添加跨层连接和标准化输出，帮助模型更好地训练，防止梯度问题。带掩码的多头注意力：在生成文本时，确保模型只依赖已知的信息，而不是未来的内容。前馈网络：对输入进行非线性变换，提取更高级别的特征。

本文将从Transformer的本质、Transformer的原理 和 Transformer架构改进三个方面，搞懂Transformer。一、Transformer的本质1. Transformer架构主要由输入部分（输入输出嵌入与位置编码）、多层编码器、多层解码器以及输出部分（输出线性层与Softmax）四大部分组成。Transformer架构（1）输入部分将源文本中的词汇数字表示转换为向量表示，捕捉词汇间的关系。为输入序列的每个位置生成位置向量，以便模型能够理解序列中的位置信息。

Transformer 是一种基于"注意力机制（Attention Mechanism）"的神经网络架构，主要用于处理序列数据。与传统的循环神经网络（RNN）不同，Transformer 通过并行计算和全局注意力机制，极大提升了模型的效率和性能。Transformer 的设计理念基于简单但高效的注意力机制，其并行化特性和强大的表征能力使其成为现代深度学习的核心模型。从 NLP 到 CV，再到多模态任务，Transformer 正在推动 AI 的新一轮变革。

Transformer详解 1. 简介 Transformer是一个面向sequence to sequence任务的模型，在17年的论文《Attention is all you need》中首次提出。Transformer 是第一个完全依赖自注意力（self-attention）来计算输入和输出的表示，而不使用序列对齐的递归神经网络或卷积神经网络的转换模型。

而在自注意力机制中，每个时间步的隐藏状态是根据所有时间步的输入进行计算的，使得模型可以同时关注到输入序列的所有位置。位置编码是一种特殊的嵌入，将序列中的每个位置映射为固定维度的向量，然后将位置编码加到输入嵌入中，使得模型能够感知到输入序列中不同位置的相对距离。由于Transformer模型较为复杂，通常使用现有的深度学习框架（如TensorFlow、PyTorch）中的预训练模型来加速模型的训练和应用。请注意，上述示例只是一个简单的文本分类示例，实际应用中可能需要根据具体任务和数据进行更多的调整和优化。

在过去几年中，Transformer 模型已经成为高级深度学习和深度神经网络领域的热门话题。自从其在 2017 年被引入以来，Transformer 深度学习模型架构已经在几乎所有可能的领域中得到了广泛应用和演进。该模型不仅在自然语言处理任务中表现出色，还对于其他领域，尤其是时间序列预测方面，也具有巨大的帮助和潜力。那么，什么是 Transformer 神经网络模型？Transformer 模型是一种深度学习架构，自 2017 年推出以来，彻底改变了自然语言处理 (NLP) 领域。