实力派，无需多言！

Transformer是一种革命性的神经网络架构，主要用于处理序列数据，如自然语言处理（NLP）任务。它通过自注意力机制同时处理整个序列，显著提高了处理长距离依赖关系的能力。与传统的循环神经网络（RNN）和卷积神经网络（CNN）相比，Transformer具有更高的并行性和效率，使其在机器翻译、文本生成、语音识别等领域表现出色。Transformer的核心组件包括输入嵌入、位置编码、多头自注意力机制和前馈神经网络。其成功推动了大规模语言模型（如GPT和BERT）的发展，并在多模态AI系统中展现出巨大潜力。T

通过对这些视频数据的分析，能够应用视频识别技术对猪的日常行为进行监控和分析，进而实现自动化管理养猪场，提高养殖效率和动物福利。在技术应用方面，涉及到视频处理技术、计算机视觉、行为识别算法、人工智能与机器学习、物联网技术等多种IT领域的知识点。例如，利用计算机视觉技术结合图像处理和机器学习算法，对视频帧序列进行分析，来检测和分类特定的行为；运用行为识别算法，如深度学习中的卷积神经网络（CNN）和递归神经网络（RNN），通过训练模型来识别和分类不同的行为。

我们的目标是构建一个系统，能够识别包含多个手写数字的图像（例如，图像中可能包含两个或更多的手写数字）。数据准备：获取并预处理包含多位手写数字的数据集。模型构建：使用深度学习框架（如TensorFlow或PyTorch）构建卷积神经网络模型。模型训练：训练模型以识别手写数字。模型评估：评估模型的性能。模型应用：使用训练好的模型进行预测。

在Windows里面你直接打开CMD、Powershell或者在macOS、Linux上打开终端，你看到的黑色窗口叫做命令行，这里执行的是命令。macOS、Linux的命令行一般是以符号开头。当你在终端里面，输入python3并回车的时候，打开的是Python交互环境>>>Python交互环境里面执行的是Python代码，而不是shell命令。你需要搞清楚，你是要执行shell命令、CMD命令还是执行Python代码。执行shell命令，就在终端里面，执行CMD命令，就在CMD里面。

因子图优化是一种基于图论的优化方法，通过构建因子图模型，将观测数据和先验知识转化为图中的节点和边，然后通过优化算法求解最可能的状态。因子图优化在处理非线性问题和多模态数据方面具有优势。

轨道高度：卫星距离地球表面的高度。倾角：卫星轨道平面与赤道平面的夹角。周期：卫星绕地球一周所需的时间。

本项目使用了科技公司的股票数据，包括但不限于苹果（AAPL）、谷歌（GOOGL）、微软（MSFT）等。数据来源包括历史股价、成交量、财务指标等。数据预处理步骤包括清洗、归一化和特征工程。

描述：航空旅行信息系统的英文数据集。训练数据：4978条测试数据：888条类别：22个支持向量机是一种监督学习模型，用于分类和回归分析。它通过找到一个超平面来最大化不同类别之间的间隔。

A*算法是一种启发式搜索算法，通过估计从当前节点到目标节点的成本来指导搜索方向。它结合了Dijkstra算法的广度优先搜索和贪婪最佳优先搜索的特点。本文介绍了如何在Matlab中实现基于深度强化学习的三维路径规划算法，并结合了多种传统路径规划算法。

后端：Flask（Web框架）前端图像处理：OpenCV（计算机视觉库）GUI界面：Tkinter（Python标准GUI库）本文介绍了如何利用Flask、OpenCV和Python开发一个在线课堂学生疲劳检测系统。通过视频流捕获、面部检测、疲劳检测和结果展示，我们展示了整个系统的搭建过程。

肌电图（EMG）信号是从肌肉活动中获取的电信号，这些信号可以通过放置在皮肤表面的电极进行采集。EMG信号反映了肌肉活动的状态，是控制仿生手的重要输入。本文介绍了如何利用机器学习方法和Matlab-Simulink实现基于EMG信号的仿生手控制系统。通过数据采集、预处理、特征提取、分类模型训练和控制系统实现，我们展示了整个系统的搭建过程。

基于YOLOv9的空中飞鸟识别检测系统是一个利用深度学习技术进行鸟类识别的应用，旨在实现对机场等场景中飞鸟的实时检测和预警，从而帮助提升飞行安全。本文将详细介绍该系统的Python源码、运行教程、训练好的模型以及评估指标曲线。

随着城市化进程的加快，自行车作为绿色出行工具，其数量在不断增加。然而，随之而来的自行车违停问题也日益严重，给城市交通管理带来了挑战。为了有效监测自行车违停情况，我们基于YOLOv9（You Only Look Once version 9）开发了一款自行车检测系统。该系统能够实时检测视频或图像中的自行车，并识别其是否违停，为城市交通管理提供智能化解决方案。本文将详细介绍该系统的Python源码、运行教程、训练好的模型以及评估指标曲线，旨在帮助读者快速上手并将其应用于自行车违停项目的开发中。

在现代教育环境中，教师对于学生在课堂上的状态监控需求日益增加。传统的监控方式往往依赖于人工观察，不仅效率低下，而且难以做到全面覆盖。为了解决这个问题，我们基于YOLOv9（You Only Look Once version 9）开发了一个线下课堂学生上课状态识别检测系统。该系统能够自动识别学生的上课状态，包括注意力集中、打瞌睡、玩手机等行为，从而帮助教师更好地管理课堂。本文将详细介绍该系统的Python源码、运行教程、训练好的模型以及评估指标曲线，以便读者能够快速上手并应用于实际场景中。

YOLOv9是YOLO系列算法的最新版本，它在保持高效推理速度的同时，进一步提升了检测精度。通过引入更先进的网络结构、优化训练策略以及增强数据增强技术，YOLOv9在多个目标检测基准测试中取得了优异表现。本项目成功开发了一个基于YOLOv9的香蕉成熟度识别系统，实现了从数据预处理、模型训练到测试评估的完整流程。通过实际测试，系统表现出较高的识别精度和鲁棒性，为香蕉生产和管理提供了有力的技术支持。

在使用Python开发的过程中，工程一多，难免会碰到不同的工程依赖不同版本的库的问题；亦或者是在开发过程中不想让物理环境里充斥各种各样的库，引发未来的依赖灾难。因此，我们需要对于不同的工程使用不同的虚拟环境来保持开发环境以及宿主环境的清洁。而virtualenv就是一个可以帮助我们管理不同Python环境的绝好工具。virtualenv可以在系统中建立多个不同并且相互不干扰的虚拟环境。我们刚才了解了virtualenv，我觉得比较麻烦，每次开启虚拟环境之前要去虚拟环境所在目录下的bin目录下source。

互联网数据通常使用one-hot编码除了类别型数据，从而使特征向量极度稀疏，POLY2模型做无选择的特征交叉，使得特征向量更加的稀疏，导致大部分交叉特征的权重缺乏有效的数据进行训练，无法收敛。在特征交叉的时候，使用两个特征向量的内积作为交叉特征的权重。但是需要注意的是，这里有点像暴力求解一样，忽视或者说省去了人工先验的部分，直接做到了所有特征之间的交叉，然后去求解对应的参数就可以。为了解决特征交叉的问题，我们一般可以人为的加入一些自己的先验信息，比如做一些特征之间的交互，不过这个很需要人们的经验。

就会出现训练样本分布和线上真实分布不一致的情况，那么你现在训练的模型究竟在线上真实环境能不能有好的提升，就看模型在真实数据上的评估情况了。比如价格，是一个长尾分布，这就导致大部分样本的特征值都集中在一个小的取值范围内，使得样本特征的区分度减小。在我自己的应用中，对WDL模型做了一个简单的修改，加入了多模态（图片加标题）的特征，效果比单纯的xgboost要提升不少。一般来说，负样本，也就是未点击的房源肯定是更多的。在我们的业务场景下，用户在不同时间对同一房源可能会存在不同的行为，导致采集的样本中有正有负。

我们先说记忆能力，从中文的角度理解，记忆能力就是之前做过的事情，在后面做同样的事的时候会利用到之前的经验和教训。进一步，记忆能力就是对之前学习到的经验或者说规律的遵守。原论文是这么说的：从历史数据中学习共现的物体/特征组合—>这就对应到上面谈到的经验规律在预测的时候利用到这种学习到的这种相关性—>这就对应到上面谈到的对经验的遵守。在这里，我想提一下，在第一点中提到的 “学习共现的物体/特征组合” 的主体是谁？最开始我认为是模型，后来认为不是。

举个最简单的例子，可能你挖掘出来的就是“爷青结”这样的词汇，确实是新词，不在我们已经有词典中，但是对于我们的实体库有没有帮助呢？如果说我们的目的是为了分词的准确，那么这个新词完全可以用，直接放到txt文件中，保证下回分类的准确。但是在这里，我们是做的事情是为了补充实体库，也就是需要有意义的词汇，比如说“外滩十八号”这种词汇。如果你是个大搜的搜索日志，这种情况基本不存在的，有长短语，有短的词汇，你找交集的阈值都无从下手。所以，普通的新词发现的有监督和无监督方法只能挖掘词汇，不能保证挖掘的是实体。

相比于TF-IDF，TextRank考虑了词与词之间的关系（提取思想就是从窗口之间的词汇关系而来），但是缺点是它针对的是单个文本，而不是整个语料，在词汇量比较少的文本中，也就是短文中，效果会比较差。使用位置特征是我们基于文本关键词出现的位置是在大量数据的情况下是有规律可言的，比如微博文本中出现在##符号中部分词汇有很大概率就是文本的一个关键词。比如说，”今天这顿烧烤是真不错啊“，在这句话中，”烧烤“这个词就可以被认为是一个关键词，或者说这个句子的一个标签。对于抽取式，就是从现有的数据中拿出来词组。

还有一个方面是大的方面，就是我现在5个单词迭代完了，比如找到了一个长度为2的在字典中的词（需要注意的是如果没有在字典中，那么长度就是1的单字就可以加进去了），然后我要做的就是把这两个单词之后的字段作为输入，再重复上面这个过程，这个是大的方面，是另一个While循环。在写代码的时候，我自己觉得从两个方面来掌握，一个是从小方面，怎么讲，就是比如说我的字典最大的长度是5个单词，我在5个单词迭代的去找有没有在字典的中的词，这是一个while循环。然后逐渐去掉右边一个单字，去查看剩余文本在字典是否存在，依次迭代。

也就是说做一个文本到图像的attention，然后做一个图像到文本的attention，两者再concat，效果会更好。基于此，大家可以想一下，如果我使用bert做了文本情感分析的FineTune，然后抽取的特征做文本分类，效果会好吗？RNN存在的问题是训练速度慢，这没什么可说的，不能并行是硬伤。FineTune的任务和我LR要做的是一样的，那么bert抽取的特具有充足的意义表达，能够很好的迁移过来。对于文本特征的表示，我们这么去想：对一个视频，我们能够想到的文本一般是：标题+简介+字幕。

在多模态场景下，对MLM任务，需要分为两个方向，一个是对文本的重建，称之为Masked Language Modeling (MLM)，一个是对图像的重建，称之为Masked Region Modeling（MRM）；文本和图片是conditional mask，就是说我在mask文本的时候，保持图片是完整的，在mask图片的时候，保持文本是完整的；其实很简单，NSP任务本质上是做句子间的关系，那么我们只需要类比的做一个图片和文本之间是否匹配的任务就可以了，也就是ITM任务；

这个方法可以可视化出文本和图片之间确实是有交互的，而且交互的部分是有意义的，比如有的单词就是对图片中的某个部分更加关注；我简单分享一下我的主体思路，文本过的BERT，图像过的Resnet,然后输出的两个表征向量之间做多头注意力，然后接全连接输出logits；但是我在真正去做的时候，并没有按照这个思路去做，我是先按照自己的思路做了个baseline，然后有效果，之后再去看论文架构提升模型效果；架构其实很简单，但是在真正去做的时候，真的是比较复杂，有很多细节，我在这里简单的梳理一下，一起探讨；

多模态中各种Fusion骚操作大噶好，我是DASOU；今天继续写多模态系列文章，对多模态感兴趣的可以看我之前的文章：今天我主要放在第二个部分，也就是各个模态的Fusion方式汇总；Fusion做的事情简单来说就是把不同模态的信息整合为一个信息，得到一个特征向量，然后利用这个特征向量再去做下游任务；所以它的任务就是更深的挖掘不同模态信息同时更好的融合进最终的representation;

我之前写了两个多模态基础的文章，没看过的同学可以先看看这两个文章：分别是和；

就拿爱奇艺举例子吧，在头部顶栏，一般会有不同类型，比如电影，综艺，电视剧等等的划分。如果我们做一个单独的文本算法，我们会对此打上“科技”或者“美食”的标签。这个时候，如果有图片，图片内容是“真正的苹果的图片”，那么此博文的类别标签就是“美食”。举个简单例子，比如你最近准备考公务员，那么对你的一个短期兴趣对应的标签就是“教育”（我自己定的，可能不同公司不同分法）这个一级标签。并没有，如果按照“教育”这个标签的内容推荐给你，比如除了公务员的内容，还会大量推给你“计算机培训”这种东西，你很大概率是不感兴趣的。

nlp中的词向量对比：word2vec/glove/fastText/elmo/GPT/bert - JayLou娄杰的文章 - 知乎。史上最全词向量讲解（LSA/word2vec/Glove/FastText/ELMo/BERT） - 韦伟的文章 - 知乎。word2vec详解（CBOW，skip-gram，负采样，分层Softmax） - 孙孙的文章 - 知乎。Word2Vec详解-公式推导以及代码 - link-web的文章 - 知乎。关于word2vec，我有话要说 - 张云的文章 - 知乎。

还是那个例子，句子为"我/永远/爱/中国/共产党"，中心词为’爱’，我们在选择噪声词的时候，选择了K个，但是实际上，在词汇表中，排除掉’我’，‘永远’，‘中国’，‘共产党’ 这四个词汇的其他词都可以算做我的噪声词，然而为了减少复杂度，我只选择了其中的K个，所以当然应该是近似了。对于输入层，对应的是窗口中的单词，也就是例子中"我"，“永远”，“中国”，“共产党” 四个词的词向量，在投影层，将四个词的词向量进行相加求平均，输出层在没有优化的前提下，维度为词表大小，随后做 Softmax即可。

负采样近似训练，把复杂度限制在了k个噪声词，层序softmax也属于近似训练，在它的条件概率中，不断的二分类，涉及到的是能够达到背景词的那个路径上的非叶子结点，也就是没涉及到其他节点，这一点和负采样很类似，都是从全部词汇降低复杂度，只不过负采样是被k限制，层序是被路径编码限制(0,1,1,1,0)这种限制住。仔细看，在分母涉及到了一个V，这里的V就是我们的词典大小。仔细看这个公式，V已经消失，取而代之的是K，也就是我们的噪声词的数量，换句话讲，我们的复杂度被K这个大小限制住了，降低为了O(|K|)

我举个简单的例子，不一定准确，“我/爱/中国/共产党”，我在更新的时候，把’我’,‘爱’,‘中国’,'共产党’我们都使用同一个参数来代表（这种情况很难遇见，理解一下就好），那么在更新训练参数的时候，我只需要更新一个参数就把这个四个词都更新了，当然会快一点。在这里还想说一下，word2vec中的叶子节点也就是词向量更新之后我们最后是要的，但是对于fasttext其实不会用到这个，因为我们是对文本进行分类，只需要保存了模型权重在预测的时候可以预测就可以了。对应到中文，应该对应的是分词之后的词，而不是字。

Transformer 原版的位置编码也就是正余弦函数编码，表达的是绝对位置信息，同时包含相对位置信息。但是经过线性变化，相对位置信息消失。基于此，需要对位置编码进行优化。

谈一下相对位置编码RPR经过线性变化之后，正余弦函数表示的相对位置信息消失，所以需要优化。一般来讲，谈到优化，三种比较有名：RPR；我在这个文章简单讲一下RPR。老样子，不涉及到公式推导，尽量把我的理解讲出来。

K/V矩阵的计算不是来自于某一个单词的输出，而是所有单词的输出汇总计算K/V矩阵。也就说，训练的时候，你的模型是基于知道这个时刻后面的单词进行的训练，但是测试的时候，做机器翻译，你不知道自己应该翻译出来什么东西。如果我们没有mask，模型也是可以运行的，也就说此时”吃“和”苹果“两个词对”爱“这个时刻的输出是有贡献的。当前时刻是”爱“这个单词作为输入的一部分，另一部分是上一个时刻”我“作为输入的时候的输出值。这一块需要注意的就是之前文章提到的，Q矩阵来自本身，K/V矩阵来自encoder的输出。

Transformer 原版的位置编码也就是正余弦函数编码，表达的是绝对位置信息，同时包含相对位置信息。但是经过线性变化，相对位置信息消失。基于此，需要对位置编码进行优化。整个Transformer这一块基本就是讲完了，基本上可以解决之前那个关于transformer面试题百分之八十的题目。至于剩下的题目会放在之后别的模块去讲，比如 wordpiece model 会在总结机器翻译知识点的时候写一下，然后 GPT 会在总结词向量知识点的时候写一下。欢迎大家关注微信公众号: NLP从入门到放弃。

在CV领域，CNN一直是主流模型；TRM的最核心的一点就是自注意力机制，把这点借鉴到CV来说，一个最简单的想法就是我把每个像素当做是一个token，然后作为序列输入；那么就是对每个token之间都做了多头注意力机制；假设我们的图像大小是2242241，那么序列长度就是50176，相当于BERT最大长度的512的100倍左右，这个参数量肯定是不能承受的；针对这种情况，我们怎么处理呢？这个问题，本质上是去解决随着像素增加，复杂度平方级增长的问题；

NLP任务中，layer-norm比BatchNorm好在哪里本文主要是讲一下，为什么NLP任务中，比如Transformer，使用LayerNorm而不是使用BatchNorm这个问题其实很有意思，理解的最核心的点在于：为什么LayerNorm单独对一个样本的所有单词做缩放可以起到效果。大家往下慢慢看，我说一下我自己的理解，欢迎大佬拍砖，如果觉得我说的还行，点个在看鼓励一下。

BN的过程，使用 整个batch中样本的均值和方差来模拟全部数据的均值和方差，在batch_size 较小的时候，效果肯定不好。其次在测试的时候，遇到一个样本长度为1000的样本，在训练的时候最大长度为600，那么后面400个单词的均值和方差在训练数据没碰到过，这个时候怎么办？举个最简单的例子，比如 batch_size 为10，也就是我有10个样本，其中9个样本长度为5，第10个样本长度为20。这个文章写的很好，推荐，从BN的特点（ICS/梯度饱和），训练，测试以及损失函数平滑都讲了一下。

大概会花一到两周的时间，把 transformer 系统的讲一遍，可能会涉及到到 Bert/GPT 的一些基本知识，每天只讲一个知识点。所有的关于NLP知识的文章都会放在下面这个仓库，大家快去看。预告一下明天内容，是关于transformer位置编码的讲解，很多同学对位置编码这个概念很模糊，只是知道是正余弦函数，别的就不太清楚，我们之后花几篇文章好好聊一聊这个概念。这个已经更新在github，想看的朋友可以提前去看一哈。