- 博客(4)
- 收藏
- 关注
RSS订阅原创 基于BERT的超长文本分类模型
基于BERT的超长文本分类模型0.Abstract1.任务介绍数据集评估方法测试集0.Abstract本文实现了一个基于BERT+LSTM实现超长文本分类的模型, 评估方法使用准确率和F1 Score.项目代码github地址:1.任务介绍用BERT做文本分类是一个比较常见的项目.但是众所周知BERT对于文本输入长度有限制. 对于超长文本的处理, 最简单暴力无脑高效的办法是直接截断, ...
2020-04-11 23:00:29
21976
9
原创 生成式文本摘要
0.Abstract1.任务介绍文本摘要通常有两种, 它们分别是抽取式摘要(Extractive summarization)和生成式摘要(Abstractive summarization). 压缩式摘要暂不讨论.抽取式摘要主要从源文档中提取出现成的词/句.生成式摘要是基于NLG(Natural Language Generation).由模型自己生成句子. 主要基于sequence t...
2020-02-29 00:03:34
11459
29
原创 FAQ问答机器人
FAQ问答机器人0.任务想法1.使用ELMo预训练模型2.使用BERT预训练模型3.针对基线模型的分析思考以及可能的提升方向4.BERT训练模型1) 损失函数2) 数据集构造同义句(正例)的构造:非同义句(负例)的构造:3) 对于如何计算分数的探讨5.总结分析6 另外一些还没有实现的想法/可能的方向项目代码github地址: https://github.com/neesetifa/FAQbot...
2020-02-07 23:14:09
3608
4
原创 Transformer模型学习笔记
Transformer模型学习笔记前言回顾参考资料解读1. High-level的看一下,transformer大致是个什么样子2.详细看下, 具体结构,以及输入都长什么样3.self-attention层4.多头机制 Multi-head5.输入语句中词的顺序(Positional Encoding)6.剩余东西7.解码器(Decoder)8.最后输出层前言Google研究菌曰: 在tran...
2020-01-14 11:35:58
2878
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人