yyp1998的博客

Conformer: Convolution-augmented Transformer for Speech Recognition论文地址：https://arxiv.org/abs/2005.08100Conformer编码器Conformer编码器的结构如下图左侧所示，其中每个Conformer块包含四个模块：分别是前馈模块，多头自注意力模块、卷积模块和另一个前馈模块。与右侧的Transformer编码器的结构相比，Conformer块的改变主要体现在两处：1.增加了卷积模块；2.将前馈模块分

概念集成学习（多分类器系统、基于委员会的学习）通过构建并结合多个学习器完成学习任务。图1：先产生一组个体学习器，再利用某种策略将他们结合起来。分类1（根据个体学习器是否为同种类型）同质集成：集成中只包含同种类型的个体学习器（决策树集成中全是决策树，神经网络集成中全是神经网络），这样的个体学习器可以称为“基学习器”，有时还被称为弱学习器，对应的算法成为“基学习算法”异质集成：集成里包含不...

EMLO（embeddings from language models）结构：两个BiLSTM1.考虑上下文信息，每个词都给出三个embedding：word embedding、1st LSTM layer embedding、2nd LSTM layer embedding，针对不同的上下文信息给三个embedding赋予不同的权重。2.利用长文本而不是窗口学习embedding3....

使用RNN作为encoder/decoder存在问题：顺序依赖，无法并行梯度消失，梯度爆炸（由于使用递归的方式）——LSTM和GRU只能缓解transformer(Attention is All You Need)利用Attention而不是RNN单个Encoder-Decoder结构Transformer结构第一个encode的输入是原始输入的句子，其他encoder的输入...

词向量可以表示两个词的语义相似度词向量可视化算法：T-SNE（降维算法）_sklearn学习词向量输入模型词向量_distributed representation可以学习词向量到的模型主要有：CBOW、skip-gram、NNLM、Glove、ELMo、MF（矩阵分解）、Gause Embedding、bert语言模型：从语法上判断一个句子是否通顺...

单个神经元网络简化表示正向传播：W*X+B=yW,B为参数，X为实际值，y为预测值，Y为标签值反向传播：根据差值标签值Y-预测值y，对W和B进行相应的调整。循环往复进行softmax分类算法得出分别为y1,y2,y3的概率tensorflow代码：tf.nn.softmax(logits,name=None)损失函数（即标注中差值的计算）均值平方差适用范围：输入为实数，无界的...

ANACONDA+TENSORFLOW安装中出现的一些错误以及解决办法WIN10环境哦1.anaconda安装需要以管理员身份进行，否则安装不完整，会出现文件丢失的情况。2.配置tensorflow前需要建立一个虚拟环境具体步骤：（1）在cmd中输入conda create --name tensorflow python=3.6注意：name前是两个- ；tensorflow是环...