爬虫——scrapy框架核心组件流程

流程：

• 引擎检测起始列表的url,调用start_request方法对列表里的url发起请求
  start_urls = [‘https://www.qiushibaike.com/text/’]
• Spiders（爬虫）将需要发送请求的url(requests)经ScrapyEngine（引擎）交给Scheduler（调度器）。
• Scheduler（排序，入队）处理后，经ScrapyEngine，DownloaderMiddlewares(可选，主要有User_Agent,
  Proxy代理)交给Downloader。
• Downloader向互联网发送请求，并接收下载响应（response）。将响应（response）经ScrapyEngine，SpiderMiddlewares(可选)交给Spiders。
• Spiders处理response，提取数据并将数据经ScrapyEngine交给ItemPipeline保存（可以是本地，可以是数据库）。
• 提取url重新经ScrapyEngine交给Scheduler进行下一个循环。直到无Url请求程序停止结束。

https://blog.csdn.net/miner_zhu/article/details/81094077