scrapy框架中多爬虫文件情况下怎么设置那个爬虫走那个管道类呢？

Question

我想要实现爬虫结束时把redis中剩下没达到输出文件所需数量的数据输出。于是想到了管道里的close_spider。可是不知道该如何下手，在管道文件中创建几个类来分别处理这些爬虫的需求？还是说有什么别的办法。

Answer 1

方法一：
在pipeline里添加管道类，在close_spider方法里根据 spider.name 进行判断，进行对应处理
最后在settings中开启管道。

方法二：
scrapy用system命令在py文件中启动是以顺序流进行的，可以 os.system("scrapy crawl xxx") ，下一行写上redis处理过程即可

方法三：
完全可以通过另一个进程来做这件事，当监控到爬虫进程结束后，然后处理redis数据。

下次来社区问啊， 爬虫逆向社区-爬虫逆向论坛-CSDN社区云 CSDN爬虫逆向社区,爬虫逆向论坛,为中国软件开发者打造学习和成长的家园 https://bbs.csdn.net/forums/lx