本文详细介绍了Bert模型的创新点、预训练过程，包括Embedding、Masked LM和Next Sentence Prediction，以及Bert的结构和Estimator的使用。Bert利用双向Transformer结构在多种NLP任务上表现出色，预训练过程中的Masked LM解决了单向模型的局限，Next Sentence Prediction则有助于学习句子间关系。此外，还解析了Estimator在数据输入、模型建立及训练、预测中的作用。
Bert相关知识点总结
创新的角度
bert其实并没有过多的结构方面的创新点，其和GPT一样均是采用的transformer的结构，相对于GPT来说，bert是双向结构的，而GPT是单向的，如下图所示
elmo：将上下文当作特征，但是无监督的语料和我们真实的语料还是有区别的，不一定的符合我们特定的任务，是一种双向的特征提取。
openai gpt就做了一个改进，也是通过transformer学习出来一个语言模型，不是固定的，通过任务 finetuning,用transfomer代替elmo的lstm。
openai gpt其实就是缺少了encoder的transformer。当然也没了encoder与decoder之间的attention。
openAI gpt虽然可以进行fine-tuning,但是有些特殊任务与pretrainin
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
