Python3.8安装Scrapy爬虫框架

一、Scrapy框架简介

以下摘自：百度百科

• Scrapy是Python开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据。Scrapy用途广泛，可以用于数据挖掘、监测和自动化测试。
• Scrapy吸引人的地方在于它是一个框架，任何人都可以根据需求方便的修改。它也提供了多种类型爬虫的基类，如BaseSpider、sitemap爬虫等，最新版本又提供了web2.0爬虫的支持。

Scrapy架构：

二、Scrapy框架下载

声明：安装请注意版本Python版本！！！

步骤概览：
1、网络安装wheel；
2、本地安装lxml；lxml下载地址
3、本地安装pyWin32；pyWin32下载地址
4、本地安装Twisted；Twisted下载地址
5、网络安装Scrapy；

1、网络安装wheel

用管理员身份打开cmd > 输入pip install wheel

既然是网络安装，请保证网速！

2、本地安装lxml

（1）点击此 下载地址，进入网站，下载，如下：

（2）本地安装

找到 lxml文件 下载到本地的路径，进入cmd安装，如下：


等待其安装成功！

安装pyWin32、Twisted和安装lxml步骤一样。

3、网络安装Scrapy

以管路员身份打开cmd > 输入pip install scrapy

4、检验Scrap是否安装成功

以管路员身份打开cmd > 输入scrapy，结果如下：

表明 安装成功！

总结：

• 切记首先保证网络是正常的，能开个VPN更好；
• 哪些文件是可以直接网络安装，哪些文件是需要先下载到本地再安装，请读者看清楚；
• 我安装的时候，一切顺利，没有出现什么错误。如果读者安装有误，可以自己百度查找。