超级会员免费看
这篇博客介绍了如何下载和整理维基百科中文词条，包括使用opencc进行繁简转化，处理wiki词条，以及构建关键词检索模块。还提到了在处理过程中遇到的问题和解决方案。
维基百科中文词条
维基百科开源的中文词条内容，收集了99W+词条，当然比百度少了不少。
有效处理该原始语料的方法主要有两个：1、Wikipedia Extractor；2、gensim的wikicorpus库。
两种处理都比较粗糙，导致：
- Wikipedia Extractor提取出来的结果，会去掉很多空格与括号里面的内容；
- gensim.corpora.wikicorpus.WikiCorpus处理，问题更严重，因为它连所有标点都去掉了。
本篇code见：mattzheng/ChineseWiki
先下载语料文件：下载地址
zhwiki-20180301-pages-articles-multistream.xml.bz2 是主文件；
zhwiki-20180301-pages-articles-mu
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
