Demonslzh的博客

文章目录一、爬虫部分1、目标网站:[网易新闻](https://news.163.com/)2、分析网址3、构造URL4、解析页面5、保存数据二、文本分类1、数据清洗、分词2、tf-idf词向量，构建朴素贝叶斯模型3、模型评估一、爬虫部分1、目标网站:网易新闻首先我们看到最上方绿色方框圈中的部分，这就是我们要爬取的分类。在这里我一共选择了国内、国际、军事、航空、科技这五个分类进行爬取接下来我们以打开国内的新闻为例进行分析2、分析网址我们打开开发者工具，来寻找我们的数据选择network,刷新

一、目标地址https://new.qq.com/ch/finance/我们以财经分栏为例，这里我们观察网页源码可以看到这些新闻的排布都是放在一个无序列表中，每一条新闻都是一个li,那么我们只要获取了所有的li（即li对应的ul）就能进一步解析。所以我们通过beautfulsoup来解析源码。那么获取所有li就很简单了，一行代码 uls=soup.find_all('ul')二、首...

文章目录一、创建项目二、爬取子页面链接三、设置每本书要爬取的Item(Items.py)四、爬虫解析页面(spider.py)五、将爬取内存保存至本地(piplines.py)1、保存数据到MongoDB2、保存到csv六、查看、清洗数据，开始数据分析一、创建项目开始之前我们先建立项目1、命令行输入scrapy startproject dangdang创建dangdang项目文件夹2、命...