- 博客(56)
- 资源 (2)
- 收藏
- 关注
RSS订阅原创 文本表达：解决BERT中的各向异性方法总结
文章目录文本表达：从BERT-flow到BERT-whitening、SimCSE1、BERT-flowBERT表示存在的问题BERT-flow2、BERT-whitening向量的内积标准正交基方差与协方差whitening3、SimCSE文本表达：从BERT-flow到BERT-whitening、SimCSESentence Embeddings：即能表征句子语义的特征向量，获取这种特征向量的方法有无监督和有监督两种，在无监督学习中，我们首先会考虑利用预训练好的大型预训练模型获取[CLS]或对句子
2022-01-31 16:28:10
4858
1
原创 ESIM模型详解与Keras代码实现
文章目录ESIM模型1、input encoding2、Local Inference Modelling3、Enhancement of local inference information4、others5、Keras实现ESIM模型ESIM主要分为三部分：input encoding，local inference modeling 和 inference composition。首先什么是文本匹配，简单来说就是分析两个句子是否具有某种关系，比如有一个问题，现在给出一个答案，我们就需要分析这
2022-01-29 13:45:50
2576
原创 InferSent模型详解与Keras代码实现
文章目录概述原理概述传统的语句嵌入方法(sentence2vec)往往采用的是无监督学习方法，然而无监督的学习方法在较长语句向量的获得方面表现得不够优秀。在这篇文章中，我将介绍一种有监督得训练方法，原论文实验证明：这种方法要优胜于skip-thought方法（一种encoder-decoder模型）。原理1、训练集介绍本文采用的是Stanford Natural Language Inference Datasets，简称SNLI。SNLI包含570K个人类产生的句子对，每个句子对都已经做好了标签
2022-01-28 11:35:36
1790
原创 深度文本匹配概述
文章目录深度文本匹配概述文本匹配基于表示的模型基于交互的模型基于预训练模型BERT其他参考深度文本匹配概述文本匹配虽然文本匹配在BERT出现以前一直是以两类模型主导，但其实文本匹配时一个广泛的概念，在文本匹配下面还有许多的任务，正如下表所示1.复述识别（paraphrase identification）又称释义识别，也就是判断两段文本是不是表达了同样的语义，即是否构成复述（paraphrase）关系。有的数据集是给出相似度等级，等级越高越相似，有的是直接给出0/1匹配标签。这一类场景一般建模成分
2022-01-26 17:18:23
905
原创 百度千言-中文文本相似度实战
百度千言-中文文本相似度实战任务1：报名比赛，下载比赛数据集并完成读取步骤1 ：登录&报名比赛：https://aistudio.baidu.com/aistudio/competition/detail/45/0/task-definition步骤2 ：下载比赛数据集步骤3 ：使用Pandas完成数据读取。任务2：对句子对提取TFIDF以及统计特征，训练和预测参考代码：kaggle参考案例步骤1 ：对句子对（句子A和句子B统计）如下特征：句子A包含的字符个数、句子B包含
2022-01-24 12:53:31
2810
1
原创 网格搜索、随机搜索和贝叶斯调参总结与实践
网格搜索网格搜索时应用最广泛的超参数搜素算法，网格搜索通过查找搜索范围内的所有点，来确定最优值。一般是通过给出较大的搜索范围以及较小的步长，网格搜索时一定可以找到全局最大值或全局最小值的。但是网格搜索有一个较大的问题时：它十分消耗计算资源，特别是需要调优的超参数比较多的时候。因此在实践比赛中，需要调参的模型数量与对应的超参数比较多，而设计的数据量又比较大，因此相当消耗时间。此外，由于给出的超参数的组合比较多，因此一般都会固定多数参数，分布对1~2个超参数进行调节，这样能够减少时间但是难以自动进行。而且由
2022-01-21 15:25:26
3897
原创 coggle1-2月打卡之LightGBM实战
任务1：模型训练与预测步骤1 ：导入LightGBM库步骤2 ：使用LGBMClassifier对iris进行训练。步骤3 ：将预测的模型对iris进行预测。# 安装LightGBM!pip install lightgbm# 导入import lightgbm as lgbimport pandas as pdimport jsonfrom sklearn import datasets# 导入鸢尾花数据集iris = datasets.load_iris()iris.d
2022-01-20 16:21:28
2749
1
原创 Transformer结构详解
Transformer结构详解1.ransformer整体结构2.Transformer的输入2.1单词Embedding2.2 位置Embedding3.self-attention（自注意机制）3.1 self-attention结构3.2 Q，K，V的计算3.3self-atttention的输出3.4 Multi-Head Attention4.Encoder的结构4.1 Add & Norm4.2 Feed Forward4.3 组成Encoder5.Decoder结构5.1 第一个Mul
2021-12-26 21:11:33
15232
6
原创 详讲torch.nn.utils.clip_grad_norm_
Pytorch梯度截断：torch.nn.utils.clip_grad_norm_梯度裁剪：既然在BP过程中会产生梯度消失（即偏导无限接近0，导致长时记忆无法更新），那么最简单粗暴的方法，设定阈值，当梯度小于阈值时，更新的梯度为阈值（梯度裁剪解决的是梯度消失或爆炸的问题，即设定阈值），如下图所示：torch.nn.utils.clip_grad_norm_(parameters, max_norm, norm_type=2)函数定义：裁剪可迭代参数的渐变范数，范数是在所有梯度一起计算的，就好想
2021-12-07 20:36:06
5803
原创 TF-IDF算法详解与实践
TF-IDF算法文章目录TF-IDF算法1、TF-IDF算法介绍2、TF-IDF的应用3、怎么使用TF-IDF3.1 sklearn实现TF-IDF算法3.2 参数介绍4、TF-IDF的不足1、TF-IDF算法介绍TF-IDF（term frequency-invers document frequency，词频-逆向文件频率）是一种常用于信息检索（information retrieval）与文本挖掘（text mining）的常用加权技术。TF-IDF是一种统计方法，用于评估一字词对于一个文件集
2021-12-01 13:31:06
2838
原创 pytorch入门
60分钟入门教程什么是pytorch?pytorch是一个基于Python的科学计算包，它主要有两个用途：类似于Numpy但是能利用GPU加速一个非常灵活和快速用于深度学习的研究平台。TensorTensor类似于Numpy的ndarray，但是可以用GPU加速，使用前我们需要导入torch包。import torch# 下面代码构建一个5x3的未初始化的矩阵x = torch.empty(5,3)print(x)# 输出tensor([[9.9184e-39, 8.7245e-
2021-11-29 10:53:03
60854
11
原创 coggle11月打卡—Linux使用
coggle11月打卡任务任务1：使用命令行登录指定的Linux环境状态：已完成成果展示：配置本地登录环境：本人电脑是Window系统，因此下载了Xshell来学习。首先下载Xshell个人免费版，按照要求一步步安装即可。使用如下信息登录系统用户名：coggle，密码：coggle，IP：139.198.15.157任务2：在目录下创建文件夹、删除文件夹（1）在/home/coggle/目录下使用"mkdir LitraLin"命令创建LitraLin文件夹（2）进入
2021-11-02 18:58:58
316
原创 近期反思与计划
思考、总结与反思背景最近感觉自己有时候状态在线，有时候状态不在线，在编写BERT的finetune代码时，自己的状态是在线的，但是在做其他事情时候，自己总是提不起劲，感觉自己下意识就不想去做那些事情，因此，写下这篇文章，思考自己在做什么的时候状态在线，而在做什么的时候状态不在线，以及各自的原因等。状态在线时编写BERT finetune代码在编写这一部分代码时，状态很好，很容易进入状态。原因：可能这部分的代码自己已经学了有段时间了，再进行编写并不是很难的任务，而我也更愿意花很长的时间在这里。状
2021-10-24 10:34:17
1361
原创 pytorch 中的with torch.no_grad()
pytorch 中的with torch.no_grad():在pytorch写的网络中，with torch.no_torch():非常常见。首先，关于python中的with：with语句适用于对资源进行访问的场合，确保不管使用过程中是否发生异常都会执行必要的”清理“操作，释放资源，比如文件使用后自动关闭/线程中锁的自动获取和释放等。例如：file = open("1.txt")data =file.read()file.close()存在的问题如下：（1）文件读取发生异常，但没有进
2021-10-22 13:33:28
1657
1
原创 理解BERT中的optimization
理解BERT中的optimization引言最近参加的爱奇艺剧本情感分析大赛中，苦于对baseline调参无任何实质性的效果，在查阅了相关资料后，开始学习2019CCF的互联网新闻情感分析大赛的baseline代码。学习到optimization时，不太清楚每行代码的原理逻辑，因此查阅了BERT中关于optimization.py的源码，下面是这段时间查阅资料的总结。BERT中使用了AdamWeightDecayOptimizer，本来Adam都没太搞懂，现在又来个WeightDecay，一起学一下吧
2021-10-21 19:11:35
797
原创 logging日志模块
logging日志模块因为最近学习的代码中使用到了logging模块，而logging的相关文档网上又多又杂，因此，我在B站上完成了logging模块的学习！下面是logging的简单介绍预备知识什么是日志？日志是一种可以卓总某些软件运行时所发生事情的方法。软件开发人员可以向他们的代码中调用日志记录相关的方法来表明发生了某些事情。一个事件可包含可选变量数据的消息来描述。此外，时间也有重要性的概念，这个重要性也可以被称为严重性级别（level）。日志的等级级别何时使用DEBUG
2021-10-19 19:31:10
233
原创 半监督学习概述
一、半监督学习今天在阅读一篇论文时了解了这个之前一直不太清晰的概念。下面是查阅了相关资料后对半监督学习的理解。如有错误，望更正。半监督学习是一种介于监督学习和无监督学习之间的学习凡是，我们都知道，在监督学习中，样本的类比、类别标签都是已知的，学习的目的是找到样本的特征与类别标签之间的联系。一般来讲训练样本的数量越多，训练得到的分类器的分类精度也会越高。但是在很多现实问题当中，一方面是由于人工标记样本的成本很高，导致有标签的数据十分稀少。（如果是让算法工程师亲自去标记数据，会消耗相当大的时间和精力；也有很
2021-10-19 10:37:07
16639
3
原创 opencv-python实现虹膜瞳孔内外圆检测
一、霍夫变换本文主要介绍霍夫变换检测直线和圆的原理。霍夫变换是图像处理中从图像中识别几何形状的基本方法之一，应用很广泛，也有很多改进算法。主要用来从图像中分离出具有某种相同特征的集合图像（如，直线，圆等）。最基本的霍夫变换是从黑白图像中检测直线（线段）。1、直线检测1.1 直线的表示方式对于平面中的一条直线，在笛卡尔坐标系中，常见的有两点式，点斜式表示方式。然而在Hough变换中，考虑的是另外一种表示方式：使用(r,θr,\thetar,θ)来表示一条直线。其中，r为该直线到原点的距离，来表示一条
2021-10-18 14:58:43
8115
14
原创 深度语义理解在剧本角色情感分析中的探索与应用
深度语义理解在剧本角色情感分析中的探索与应用1、背景剧本分析是内容生产链条的第一环，因此，我们结合专家经验知识，大数据与自然语言处理计数来帮助业务部门快速分析和评估剧本。评估体系中涉及到了大量关于角色的分析，其中角色的情感分析是非常重要的一个人物。不同于通常的评论类短文本，剧本有其独特的业务特点，因此任务的目标和建模与通常的任务区别不大。本文将系统地介绍情感分析领域的相关内容，以及爱奇艺在剧本分析中针对角色进行细粒度情感分析所作的工作。2、常见的情感分析任务的分类2.1 传统的情感分析传统的情感
2021-10-10 10:17:01
839
原创 爱奇艺剧本情感分析上分之路
1、使用great大佬的baseline，上线分数是0.68左右，现在调整epochs的数量，查看相应的上线分数提升了0.009左右，排名在153这里。后续持续更新上分过程！理解训练神经网络中基本的三个概念Epoch，Batch，Iteration名词定义Epoch使用训练集的全部数据对模型进行一次完整的训练，被称为“一代训练”Batch使用训练集中的一小部分样本对模型权重进行一次反向传播的参数更新，这一小部分样本被称为“一批数据”Iteration使用一个B
2021-10-09 17:06:23
443
4
原创 2021国赛数模总结
今天数模成绩出来了，感觉不是很理想（只拿了普通的奖项），后面应该不会再参加数模了（毕竟美赛和国赛都打过了，再去花美赛几百块的报名费多多少少还是有点亏吧），所以这也是我本科阶段最后一次数模啦，虽然成绩不理想，但比赛嘛，平常心对待，不能功利心太强！接下来的时间会在NLP的算法竞赛上啦！大三下就要开始老老实实准备考研，希望可以顺顺利利！加油！...
2021-10-07 21:56:05
194
原创 Opencv实现图像的加密解密
Opencv实现图像的加密解密基础：基于异或操作实现图像加密解密一般情况下，图像的加密和解密过程是通过按位异或运算实现的。将原始图像与密钥图像进行按位异或，可以实现加密，将加密后的图像与密钥图像再进行按位异或可以实现解密过程。Opencv-python代码实现import cv2import numpy as npdemo = cv2.imread("E:\matlab_file\picture\picture.jpg", 0)r, c = demo.shapekey = np.rando
2021-10-07 13:11:58
3351
原创 matplotlib绘制偏差图
2、偏差图偏差图是单个特征中所有值与特定值之间的关系图，它反映的是所有值偏离特定值的距离。典型的偏差图有：发散型条形图，面积图，…我们什么时候需要偏差图呢？1.数据探索&数据解读探索某一特征的分布，探索该特征偏离某个特定值（均值，方差等）的程度。2.结果展示&报告呈现：直观地展示某个特征的分布特征，快速得出结论。2.1 发散条形图（Diverging Bars）如果你想根据单个指标查看项目的变化情况，并可视化此差异的顺序和数量，那么发散条形图是一个很好的工具。它有助
2021-10-01 16:40:57
3067
原创 matplotlib绘制关联图
相关性矩阵图相关性矩阵存在的必要性相关性矩阵，又叫做热力图，是关联图中最重要的一张图像，它能够为我们展现多个变量凉凉之间的相关性。惯量图的目标是探索两个事件之间的关系，它为我们展示出一个事物随着另一事物的变化如何变化，但我们之前描述的关联图，折线图或散点图都只能够分析两个变量之间的相关性。在实际统计学和机器学习应用当中，我们往往需要探求多个变量两两之间的相关性。一个最典型的例子是：在统计建模中，能够使用最小二乘法求解线性回归模型的充分必要条件是特征之间没有相关性（在统计学当中标准的术语应该叫做共线性
2021-09-29 11:22:53
3672
原创 sklearn实战之聚类算法
六、聚类算法0、概述0.1 无监督学习与聚类算法在之前的五篇文章中，我们学习了决策树，逻辑回归，随机森林，它们虽然有着不同的功能，但却都属于“有监督学习”的一部分，即是说，模型在训练的时候，即需要特征矩阵X，也需要真实标签y。机器学习当中，还有相当一部分算法属于“无监督学习“。无监督的算法在训练的时候只需要特征矩阵X，不需要标签。我们曾经学过的PCA降维算法就是无监督学习中的一种，聚类算法，也是无监督学习的代表算法之一。聚类算法又叫做”无监督分类“，其目的是将数据划分为有意义的或有用的组（或簇）。这
2021-08-25 10:05:21
19706
1
原创 sklearn实战之逻辑回归与制作评分卡
五、逻辑回归与评分卡0、概述0.1 名为“回归”的分类器在之前的4篇文章中，我们接触了不少带“回归”二字的算法，回归树，随机森林的回归，无一例外他们都是区分与于分类的算法，用来处理和预测连续型标签的算法。然而逻辑回归，是一种名为“回归”的线性分类器，其本质是由线性回归变化而来的，一种广泛使用于分类问题中的广义线性回归算法。要理解逻辑回归从何而来，得要先理解线性回归。线性回归是机器学习中最简单的回国算法，它写作一个几乎人人都知道的方程：z=θ0+θ1x1+θ2x2+…+θnxnz=\theta_0+
2021-08-23 14:39:04
2375
3
原创 sklearn实战之降维算法PCA与SVD
四、sklearn中的降维算法PCA和SVD1、sklearn中的降维算法sklearn中降维算法都被包括在模块decomposition中，这个模块本质是一个矩阵分解模块。在过去的十年中，如果要讨论算法进步的先锋，矩阵分解可以说是独树一帜。矩阵分解可以用在降维，深度学习，聚类分析，数据预处理，低纬度特征学习，推荐系统，大数据分析风领域中。在2006年，Netflix举办了一个奖金为100万美元的推荐系统算法的比赛，最后的获奖者就使用了矩阵分解中的明星：SVD分解（奇异值分解）。类说明
2021-08-21 22:00:01
4122
原创 sklearn实战之数据预处理与特征工程
三、数据预处理与特征工0、概述数据挖掘的五大流程：1、获取数据2、数据预处理数据预处理是从数据中检测，纠正或删除损坏，不准确或不用于模型的记录过程可能面对的问题是：数据类型不同，比如有的是文字，有的是数字，有的含时间序列，有的连续，有的间断。也有可能，数据的质量不行，有噪声，有异常，有缺失，数据出错，量纲不易，有重复，数据是偏态，数据量太大或者太小。数据预处理的目的是：让数据适应模型，匹配模型的需求。3、特征工程特征工程是将原始数据转换为更能代表预测模型潜在问题的特征的过程，可以通过挑选最
2021-08-17 17:01:49
2153
原创 sklearn实战之随机森林
二、随机森林0、概述0.1集成算法概述集成学习是时下非常流行的机器学习算法，它本身不是一个单独的机器学习模型，而是在以往的数据上构建多个模型，集成所有模型的建模结果，基本上所有机器学习领域都可以看到集成学习的身影，在显示中集成学习也有相当大的作用，它可以用来做市场营销模拟的建模，统计客户俩元，保留和损失，也可以用来预测疾病的风险和患病者的易感性。在现在的各种算法竞赛中，随机森林，梯度提升树，XGBoost等集成算法的身影也随处可见，可见其效果之好，应用之广。集成算法的目标：集成算法会考虑多个评估器的
2021-08-15 19:59:51
28316
1
原创 sklearn实战之决策树
一、决策树0、决策树简介0.1决策树是如何工作的决策树（Decision Tree）是一种非参数的有监督学习方法，它能够从一系列有特征和标签的数据中总结出决策规 则，并用树状图的结构来呈现这些规则，以解决分类和回归问题。决策树算法容易理解，适用各种数据，在解决各 种问题时都有良好表现，尤其是以树模型为核心的各种集成算法，在各个行业和领域都有广泛的应用。 我们来简单了解一下决策树是如何工作的。决策树算法的本质是一种图结构，我们只需要问一系列问题就可以对数 据进行分类了。比如说，来看看下面这组数据集，这是
2021-08-11 22:07:38
4636
原创 python常用的三个高阶函数
python常用的三个高阶函数map(func,list):将传入的函数变量func做到到list变量中的每一个元素中，并返回一个迭代器。list1 = [1,2,3,4,5,6]def func(x): "返回二次方" return x**2result = map(func,list1)print(result)# <map object at 0x000...>print(list(result))# [1,4,9,...,36]reduce(func,l
2021-03-31 11:32:55
265
原创 阿里DMR模型解读
阿里DMR模型开源地址：https://github.com/lvze92/DMR背景这里不对背景做太多解释，主要是：最近比较流行的CTR预估网络主要花很多精力在挖掘用户的潜在兴趣、信息等，但是忽略了user与item之间的关联性，而user-item之间的关联性恰恰是最能够反映用户兴趣的地方，因此本篇文章主要是借鉴了协同过滤（CF） 中计算user-item和item-item矩阵相似度，同时基于注意力机制和position encoding来挖掘不同时期用户兴趣，使用辅助网络来帮助训练。创新点
2021-03-01 17:24:54
1095
1
原创 早高峰共享单车潮汐点的群智优化
任务详细见：早高峰共享单车潮汐点的群智优化感想本次是第一次参加datawhale的组队学习计划遇到的问题：1、部分库安装不上这里使用"conda install geohash"命令下载geohash包，但是import时却报错，解决方法：参考博客：https://www.cnblogs.com/ceeyo/p/11691283.html学习点高频函数的使用：apply()用法：参考博客：https://blog.csdn.net/yanjiangdi/article/details
2021-02-19 21:16:20
552
1
原创 美赛快速复习之回归
回归复习0、目标复习并总结好几大回归模型，并找到模型描述1、常见的7种回归逐步回归、一元线性回归、多元线性回归、非线性回归、高斯回归分析、自回归、岭回归、lasso回归、逻辑回归、生存回归、弹性回归线性回归（Linear Regression）逻辑回归（Logistic Regression）多项式回归（Polynomial Regression）逐步回归（Stepwise Regression）岭回归（Ridge Regression）套索回归（Lasso Regression）弹
2021-01-26 21:20:06
255
原创 leetcode解题思路分享（# 141）
leetcode 141环形链表本题主要使用快慢指针进行判断。下面是代码+思路解释1、定义快慢指针（快指针每次走两步，慢指针每次走一步）2、当快指针有意义且快指针的下一位仍有数值时，进行继续移动快慢指针如果快指针和慢指针重合（相遇），说明该链表存在循环，返回True如果快指针走到链表尾仍没有遇到慢指针，说明没有循环，返回False代码：class Solution: def hasCycle(self, head: ListNode) -> bool: fas
2021-01-23 11:04:17
220
3
原创 深度学习中的tips
1、是否需要太考虑local optimum？我们之前在学习梯度下降的时候，提及到梯度下降容易陷入局部最优(local optimum)的情况，那么在深度学习的梯度下降中，是否需要过分考虑local optimum的情况呢？——不需要太担心，因为没有太多的local optimum的，要出现local optimum的情况是需要出现像在梯度下降中的山谷的谷底，假设在一个参数的训练中出现山谷的谷底的概率为1%，神经网络中的参数数量动辄百万千万甚至上亿，因此出现山谷的情况很低很低(很多个1%相乘)，所以在神经
2020-12-16 12:16:51
172
原创 对机器学习中鲁棒性的理解
鲁棒性我们在科学中使用「Robust」时所采用的含义，即一个系统或组织有抵御或克服不利条件的能力。举例来说，在建造一座大厦时，我们要考虑影响建筑物安全性的因素有哪些，例如建筑物如果处于震区，要考虑如何建造才能承受地震而不倒塌，遭遇恶劣天气（如台风、龙卷风）时需要承受几级大风以及如何让建筑能够抵抗此等级的天气等等。在计算机领域「鲁棒性」所表达的内涵是相似的，即该系统或算法能够适应应用环境，如数据中的噪声、不同的应用领域等等。由于鲁棒性在不同科学领域下有不同具体的理解，因此本文章仅阐述在机器学习下的鲁棒性。
2020-12-13 13:32:24
3569
《机器学习实战》&《统计学习方法》python代码实现（附有详细的代码注释）
2020-06-02
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人