python学习笔记之利用jieba库进行词频分析

jieba库介绍：“结巴”中文分词 一一 做最好的 Python 中文分词组件

jieba gitHub仓库地址

特点：

• 支持三种分词模式：
• 精确模式，试图将句子最精确地切开，适合文本分析； 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义；
• 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。 支持繁体分词
• 支持自定义词典
• MIT 授权协议

分词：

• jieba.cut 方法接受三个输入参数: 需要分词的字符串；cut_all 参数用来控制是否采用全模式；HMM 参数用来控制是否使用HMM 模型
• jieba.cut_for_search 方法接受两个参数：需要分词的字符串；是否使用 HMM
  模型。该方法适合用于搜索引擎构建倒排索引的分词，粒度比较细
• 待分词的字符串可以是 unicode 或 UTF-8 字符串、GBK 字符串。注意：不建议直接输入 GBK字符串，可能无法预料地错误解码成 UTF-8
• jieba.cut 以及 jieba.cut_for_search 返回的结构都是一个可迭代的 generator，可以使用 for 循环来获得分词后得到的每一个词语(unicode)，或者用
• jieba.lcut 以及 jieba.lcut_for_search 直接返回 list
• jieba.Tokenizer(dictionary=DEFAULT_DICT) 新建自定义分词器，可用于同时使用不同词典。jieba.dt 为默认分词器，所有全局分词相关函数都是该分词器的映射。

实例：统计一篇文档各个词的出现频次

示例文档地址，点击下载

"""词频统计"""
import jieba	# 没有安装jieba库可以在 使用命令行 pip install jieba 进行自动安装

def frequency_():
    # 读取文件
    txt = open("文件所在目录.txt", "r", encoding="utf-8").read()	
    # 这里文件路径位置填写自己存放文件的位置
    # 这里使用 jieba 分词的精确模式
    words = jieba.lcut(txt) # 返回的是list[]
    counts = {}
    '''对进行分词的之后的结果进行处理,解决类似于孔明和诸葛亮是一个人物的问题，给其重新赋值'''
    for word in words:  # 排除长度为1的
        '''if len(word) == 1:	# 不想统计单词或者其它一些字符可以简单处理一下
            continue'''
        if word == "诸葛亮" or word == "孔明曰":
            rword = "孔明"
        elif word == "关公" or word == "云长":
            rword = "关羽"
        elif word == "玄德" or word == "玄德曰":
            rword = "刘备"
        elif word == "孟德" or word == "丞相":
            rword = "曹操"
        elif word == "周瑜" or word == "都督":
            rword = "周瑜"
        else:
            rword = word
        # 统计出现的次数
        counts[rword] = counts.get(rword, 0) + 1

    items = list(counts.items())
    # 安装从大到小进行排序
    items.sort(key=lambda x: x[1], reverse=True)
    # 只要前排序时候出场次数最多的前10个
    for i in range(len(items)):
        word, count = items[i]
        print("{0:<10}{1:>5}".format(word, count))


if __name__ == "__main__":
    frequency_()

运行部分结果：