selenium和chromedriver做爬虫时脚本把内存用完最后卡死的解决办法

最新推荐文章于 2025-04-21 23:48:39 发布
最新推荐文章于 2025-04-21 23:48:39 发布
阅读量6.4k 收藏 21
点赞数
文章标签： 爬虫 selenium python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/seattle2009/article/details/123201525
版权
在使用Selenium和ChromeDriver进行自动化爬虫时，遇到浏览器进程不断增多导致脚本卡死的问题。通过尝试多种解决方案，发现刷新页面（driver.refresh()）是最有效的方法，能避免内存消耗过大，保持脚本长时间稳定运行。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

selenium和chromedriver做自动化爬虫的时候，如果你用到循环就恢复发现chromedriver.exe和浏览器进程越来越多，最后卡死，脚本停止运行。我每隔20分钟就要把脚本终止，然后再开始运行，只能达到“半自动”的效果。
我网上找了很多办法，有的用到JS，有的用kill去杀掉进程。最后发现有个最有效的办法就是调用refresh刷新一下即可，进程会自动消掉，内存也不会被吃完。脚本可以一直运行到天荒地老。

    # 刷新页面，减少缓存
    driver.refresh()
终于找到JAVA解决chromeDriver长时间运行内存溢出导致程序崩溃的方法了
Dreamzhaofuxin的博客
02-24 878
我是在java中使用selenium+ChromeDriver采集数据时，需要扫码授权为了避免频繁扫码，这样就要保持浏览器一直开着，不能每次采集完之后不能使用driver.quit（）退出方法。ChromeDriver长时间运行采集内存不断增加，慢慢导致程序崩溃。在网上搜了好多解决ChromeDriver内存溢出的方法都无效。被逼无奈转换思路。
使用selenium和chromedriver组合爬虫时，如果爬取的页面数量巨多，会出现占用内存逐渐增大知道程序崩溃的情况...
weixin_30314631的博客
08-14 4449
使用selenium和chromedriver组合爬虫时，如果爬取的页面数量巨多，会出现占用内存逐渐增大知道程序崩溃的情况。 解决方案：关闭当前的窗口（注意，phantomjs中的窗口其实就是chrome里的标签页，phantomjs是无界面浏览器，不需要像chrome那样可以把几个标签页放在不同的“窗口”显示），打开一个新的窗口请求页面 代码如下 from bs4 import Bea...
Python自动化selenium-一直卡着不打开浏览器怎么办？
最新发布
weixin_52236586的博客
04-21 371
如果出现卡住不打开，就把驱动放当前目录并指定。
使用ThreadPool()中的pool.map()多线程运行selenium webdriver导致的内存占用巨大，内存溢出乃至电脑卡死解决方法
刘文刚的博客
04-21 2940
解决一：（适用于大量程序并行导致内存溢出）selenium webdriver退出方式： `driver.close()`改为`driver.quit()`。 close()方法：可能是只关闭了当前网页，而未关闭crome，导致大量crome并发，占用内存直至卡死。 quit()方法：关闭当前页面并退出浏览器和退出webdriver驱动。 解决二：程序产生大量缓存（或是其他文件）导致磁盘存储空间...
使用Selenium和chromedriver爬虫，导致后台chrome占用大量内存
qq_40821163的博客
11-13 4907
解决方案： 使用chromedriver时，退出方法需作出更改。 原本是：driver.close() 现改为：driver.quit() 原因：close仅仅关闭了当前页面，并未关闭chrome。使用quit则会真正退出chrome，结束进程。 原理：点击这里 ...
python中使用selenium进行爬虫时，导致（内存已缓存）备用内存占用过大导致崩溃问题，3个解决方案
入佛门六根不净，入商场狼性不足
08-05 7200
在使用python进行爬虫的时候，使用selenium进行爬取的时候经常会出现已缓存过大的情况，如果缓存出现过大之后再次执行的话就会计算机拒绝，但是这个时候我们的内存又有很多空间可以使用，一开始我以为是占用文件过多然后点360的那个进行文件整理和清理垃圾，结果效果一样还是无法使用，再买一个内存条的话又不想花钱了，一番检查后发现是这个已缓存占用过大也就是备用内存。......
c#爬虫-从内存中释放Selenium chromedriver.exe终极杀
chinaherolts2008的博客
02-05 405
背景 之前在做爬虫的时候，遇到内存释放不掉的问c#教程题，从内存中释放Selenium chromedriver.exe。后面我使用以下方法： public override void DoJob(IJobExecutionConxt context, ILifetimeScope scope, string[] args) { Console.WriteLine(nameof(LoginReptiles1688Job) + " 开始-----------------
python+selenium+chromedriver实现爬虫示例代码
09-17
Python+Selenium+ChromeDriver 实现爬虫是一种自动化网页抓取技术，它允许开发者模拟真实用户在浏览器中的行为，包括点击、滚动、填写表单等。本文将深入探讨这个技术栈，帮助初学者理解和掌握相关知识。 首先，让...
Java爬虫实战教程：使用Selenium和Chromedriver 116.0.5828.0
首先，实战代码部分提供了可直接运行的Java爬虫示例，帮助开发者理解和学习如何使用Selenium库在Java环境中创建自动化脚本来进行网页内容的爬取。 其次，selenium学习笔记则是对Selenium工具使用方法和技巧的总结，...
使用selenium后台多个chromedriver.exe导致内存使用率高
weixin_45750067的博客
06-03 6107
使用selenium后台多个chromedriver.exe导致内存使用率高 使用selenium 实现前端可视化操作，如下代码可以打开chrome浏览器 from selenium import webdriver #chrome浏览器驱动 driver_path = r'./file/chromedriver.exe' #打开google浏览器 driver = webdriver.Chrome(executable_path= driver_path) #浏览器全屏最大化 driver.maximiz
谷歌浏览器卡死问题解决
05-21
谷歌浏览器卡死问题解决，不好意思为了积分就放在文档里了
Python selenium谷歌驱动内存问题
qq_60877671的博客
11-12 872
解决谷歌驱动内存无法结束问题
seleinum调用chrome长时间运行后出现崩溃
xpt211314的博客
05-30 4702
处理解决seleinum调用chrome长时间运行，出现崩溃的问题
selenium循环打开多个网页导致内存耗尽的解决办法
booklijian的专栏
09-09 4283
近几天使用了Selenium模拟打开浏览器获取网页数据，因为需要打开多个网页所以采用的是for循环的方式，随着程序的运行时间越来越久，发现内存占用越来越多。 原来的代码大体如下：
python selenium爬虫: chromedriver运行卡顿
pachongxaiobai的博客
01-25 2775
python selenium爬虫: chromedriver运行卡顿 chrome运行一段时间后崩溃，电脑卡顿 python爬虫用selenium+chrome来获取网页cookie，本来运行好好的，结果第二天发现电脑严重卡顿，爬虫程序假死。在打开任务管理器后发现CPU高达99%，大量chromedriver、webdriver等进程残留，全部结束任务后恢复正常。 解决方法： 代码 window系统在代码里加上kill即可 代码. // import os os.system('taskkill /im
linux执行python调用chrome内存溢出排查
weixin_38428310的博客
07-21 721
top命令 查看内存及cpu占用情况 发现chrome占用的虚存36.9G，当长到46.9G的时候python程序就会被kill 解决问题第一步： 在python程序中写入: os.system("pkill chrome") os.system("pkill chromedriver") 解决问题第二步： 换一个机器，使用的机器是5G ...
Selenium 执行速度慢原因总结
C'mon的博客
06-03 3403
例如，将隐式等待设置为10秒，将显式等待设置为15秒，可能会导致在20秒后发生超时。隐式等待是告诉WebDriver如果在查找一个或多个不是立即可用的元素时轮询DOM一段时间。默认设置为0，表示禁用。一旦设置好，隐式等待就被设置为会话的生命周期。一般情况下不建议使用隐式等待，现在web框架很多元素都是动态加载的建议尽量使用显示等待。
selenium无法打开浏览器、打开时间过长解决办法
edger_min的博客
07-12 2992
新版本selenium自动请求外网导致，导致无法浏览器的解决办法
评论 13
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值