本文介绍了在Python多进程RPA项目中，如何使用multiprocessing模块的Queue进行进程间通信，以实现爬虫进度条的制作。通过Queue，可以在不同进程中存储和传递数据，解决进程间无法直接通信的问题。示例展示了如何使用Queue进行数据存取，并通过监控Queue的大小来实时更新爬虫进度。
最近的部门RPA项目中，小爬为了提升爬虫性能，使用了Python中的多进程（multiprocessing）技术，里面需要用到进程锁Lock，用到进程池Pool，同时利用map方法一次构造多个process。Multiprocessing的使用确实能显著提升爬虫速度，不过程序交由用户使用时，缺乏一个好的GUI窗口来显示爬虫进度。之前的文章中使用了Chrome浏览器来渲染js脚本生成了进度条。但是鉴于Chrome在运行时十分吃内存资源，用Chrome只是生成一个进度条难免有些“大材小用”，所以，小爬决定使用Tkinter库来制作进度条，进而摆脱对chrome浏览器的依赖。
要制作进度条，就得有计数器存储爬虫的总数，当前的爬取数甚至是当前的耗费时间等作为存储变量。考虑到各个进程之间无法直接通信，这个当前量和总量如何得到，就只能借助multiprocessing中的Queue类了。根据官方文档，multiprocessing中的Queue 类几乎完美克隆了Queue.Queue中的功能，但是它是专为多进程间的通信单独设计的。
透过一个简单的例子看下Queue是如何运用的：
from multiprocessing import
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
