xinzhancs的博客

原创 python自然语言处理实战-第三章中文分词技术

中文分词技术主要有以下三类： 规则分词 新词难处理 统计分词 太依赖语料质量 混合分词（规则+统计） 一、规则分词 基于规则分词是一种机械的分词方法，需要维护词典，将词语中每个字符串与词表中的词进行逐一匹配，找到则切分，否则不予切分。 主要有三种方式进行匹配切分 正向最大匹配法                                          ...