使用 Selenium 控制现有 Edge 窗口以规避爬虫检测

最新推荐文章于 2025-05-15 20:27:35 发布

秋叶原の黑猫

最新推荐文章于 2025-05-15 20:27:35 发布

阅读量517

点赞数 5

文章标签：数据库

本文链接：https://blog.csdn.net/corruptwww/article/details/146418779

版权

在网络爬虫开发中，网站的防爬机制常常会检测自动化工具（如 Selenium）启动的浏览器实例。为了绕过这种检测，一种有效的方法是利用 Selenium 连接到手动打开的现有浏览器窗口，而不是每次都启动一个新的实例。本文将详细介绍如何使用 Selenium 控制现有的 Microsoft Edge 浏览器窗口，并结合代码示例展示实现过程。

1. 背景介绍：为什么需要控制现有窗口？

传统的 Selenium 脚本会通过 WebDriver 启动一个全新的浏览器实例。然而，这种方式启动的浏览器往往带有明显的自动化特征（例如特定的窗口属性或用户代理），容易被网站的防爬机制识别。相比之下，手动打开的浏览器窗口通常更接近真实用户的行为，结合 Selenium 的控制，可以有效降低被检测的风险。

本文将以 Microsoft Edge 为例，展示如何通过调试地址（debugger_address）连接到现有窗口，并执行自动化操作。

2. 准备工作：配置 Edge 的调试模式

要让 Selenium 控制现有的 Edge 窗口，首先需要让 Edge 以调试模式运行，并获取其调试地址。步骤如下：

启动 Edge 的调试模式
在电脑的msedge.exe所在的文件夹中打开命令行，命令行中运行以下命令，指定调试端口和存放用户数据文件夹的位置（提前建这个文件夹"D:\python\seleniumEdge"）：

msedge.exe --remote-debugging-port=9225 --user-data-dir="D:\python\seleniumEdge"

这将启动一个支持远程调试的 Edge 实例。你可以手动打开需要爬取的网页。

3. 代码实现：连接并控制现有 Edge 窗口

以下是连接到现有 Edge 窗口的核心代码：

from selenium import webdriver 
from selenium.webdriver.edge.options 
import Options 

options = Options() 
options.debugger_address = "127.0.0.1:9225" 
browser = webdriver.Edge(options=options)