自然语言处理（NLP）： 03 tfidf 特征抽取&n-gram 扩展 + 朴素贝叶斯模型

艾文教编程

于 2019-07-17 23:57:39 发布

阅读量3.1k

点赞数 3

分类专栏：自然语言处理文章标签： python nlp 文本分类

本文链接：https://blog.csdn.net/shenfuli/article/details/96388267

版权

自然语言处理专栏收录该内容

36 篇文章 ¥9.90 ¥99.00

订阅专栏

超级会员免费看

该博客介绍了如何使用TF-IDF和n-gram结合朴素贝叶斯模型进行文本分类。内容包括TF-IDF的概念、sklearn中的TfidfVectorizer实现、数据预处理、特征工程、模型训练、以及模型在不同类别新闻的预测案例。经过交叉验证，模型平均得分0.8947，测试集f1-score为0.907060，表现出色。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

本章节研究内容： tfidf 特征抽取&n-gram 扩展 + 朴素贝叶斯模型
经过交叉验证，模型平均得分为0.8947。
最后在测试集上的f1-score指标平均为0.907060，这个分类模型较优秀，能够投入实际应用。

Label	Precision	Recall	F1	Support
entertainment	0.901968	0.924083	0.912891	11012
technology	0.833637	0.896196	0.863785	7649
sports	0.947450	0.928812	0.938039	9201
military	0.947098	0.880473	0.912571	4819
car	0.940442	0.852045	0.894064	3447
总体	0.908775	0.90669