【愚公系列】《Python网络爬虫从入门到精通》053-Scrapy 自定义中间件

已于 2025-04-16 01:06:16 修改
阅读量8.3k 收藏 5
点赞数 6
分类专栏： 愚公系列-书籍专栏 文章标签： 爬虫 python 中间件 scrapy
于 2025-04-15 23:49:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aa2528877987/article/details/147261493
版权

🌟【技术大咖愚公搬代码：全栈专家的成长之路，你关注的宝藏博主在这里！】🌟

📣开发者圈持续输出高质量干货的"愚公精神"践行者——全网百万开发者都在追更的顶级技术博主！

👉 江湖人称"愚公搬代码"，用七年如一日的精神深耕技术领域，以"挖山不止"的毅力为开发者们搬开知识道路上的重重阻碍！

💎【行业认证·权威头衔】
✔ 华为云天团核心成员：特约编辑/云享专家/开发者专家/产品云测专家
✔ 开发者社区全满贯：CSDN博客&商业化双料专家/阿里云签约作者/腾讯云内容共创官/掘金&亚马逊&51CTO顶级博主
✔ 技术生态共建先锋：横跨鸿蒙、云计算、AI等前沿领域的技术布道者

🏆【荣誉殿堂】
🎖 连续三年蝉联"华为云十佳博主"（2022-2024）
🎖 双冠加冕CSDN"年度博客之星TOP2"（2022&2023）
🎖 十余个技术社区年度杰出贡献奖得主

📚【知识宝库】
覆盖全栈技术矩阵：
◾ 编程语言：.NET/Java/Python/Go/Node…
◾ 移动生态：HarmonyOS/iOS/Android/小程序
◾ 前沿领域：物联网/网络安全/大数据/AI/元宇宙
◾ 游戏开发：Unity3D引擎深度解析
每日更新硬核教程+实战案例，助你打通技术任督二脉！

💌【特别邀请】
正在构建技术人脉圈的你：
👍 如果这篇推文让你收获满满，点击"在看"传递技术火炬
💬 在评论区留下你最想学习的技术方向
⭐ 点击"收藏"建立你的私人知识库
🔔 关注公众号获取独家技术内参
✨与其仰望大神，不如成为大神！关注"愚公搬代码"，让坚持的力量带你穿越技术迷雾，见证从量变到质变的奇迹！✨ |

文章目录

🚀前言

在之前的文章中，我们已经深入学习了 Scrapy 的基本应用和数据处理方法，这一次，我们将带大家一起探索 Scrapy 中的一个高级特性——自定义中间件。

在爬虫开发中，中间件是连接各个组件的重要桥梁，Scrapy 提供了一个灵活的中间件机制，可以在爬虫请求和响应的处理过程中插入自定义的逻辑。通过自定义中间件，我们能够实现各种高级功能，如代理池管理、请求重试、修改请求头、处理验证码等。

在本篇文章中，我们将会学习到：

  1. 中间件的基本概念：理解 Scrapy 中间件的作用及其工作流程。
  2. 如何编写自定义中间件：从创建到实现自定义功能，让中间件在请求和响应过程中发挥作用。
  3. 常见的中间件应用场景：如何使用自定义中间件处理代理、请求头、限速等。
  4. 配置和启用中间件：如何在 Scrapy 项目中配置并启用中间件，保证其正常工作。
  5. 调试与优化中间件：如何测试和调试自定义中间件，确保爬虫的高效与稳定。

通过本篇文章的学习，你将能够灵活运用 Scrapy 自定义中间件，解决爬虫开发中的各种复杂需求，提升爬虫的功能和性能。如果你已经在爬虫项目中遇到了一些瓶颈，或者希望使爬虫更强大，那么自定义中间件将是你不可或缺的工具。

🚀一、Scrapy 自定义中间件

Scrapy内置的中间件可能无法满足特殊需求，自定义中间件可通过重写关键方法实现特定功能。以下是三种典型场景的实现：

🔎1.随机请求头中间件

需求背景：防止请求头特征被识别导致封禁

实现步骤：

  1. 创建项目与爬虫

    scrapy startproject header
cd header
scrapy genspider headerSpider quotes.toscrape.com

  2. 安装依赖

    pip install fake-useragent

  3. 编写爬虫（headerSpider.py）

    import scrapy

class HeaderSpider(scrapy.Spider):
    name = "headerSpider"
    
    def start_requests(self):
        urls = [
            "http://quotes.toscrape.com/page/1/",
            "http://quotes.toscrape.com/page/2/"
        ]
        for url in urls:
            yield scrapy.Request(url=url, callback=self.parse)
    
    def parse(self, response):
        print("请求头信息:", response.request.headers.get('User-Agent'))

  4. 自定义中间件（middlewares.py）

    from fake_useragent import UserAgent

class RandomHeaderMiddleware:
    def __init__(self, crawler):
        self.ua = UserAgent()
        self.type = crawler.settings.get("RANDOM_UA_TYPE", "chrome")

    @classmethod
    def from_crawler(cls, crawler):
        return cls(crawler)

    def process_request(self, request, spider):
        request.headers['User-Agent'] = getattr(self.ua, self.type)

  5. 配置（settings.py）

    DOWNLOADER_MIDDLEWARES = {
    'header.middlewares.RandomHeaderMiddleware': 400,
    'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware': None
}
RANDOM_UA_TYPE = "random"  # 可选：random/chrome/firefox/ie

在这里插入图片描述

🔎2.Cookies模拟登录中间件

需求背景：实现免登录访问需要认证的页面

实现步骤：

  1. 爬虫代码（cookieSpider.py）

     import scrapy
 
 
 class CookiespiderSpider(scrapy.Spider):
     name = 'cookieSpider'                    # 爬虫名称
     allowed_domains = ['douban.com']    # 域名列表
     start_urls = ['http://www.douban.com'] # 请求初始化列表
 
     def start_requests(self):
         # 发送网络请求，请求地址为start_urls列表中的第一个地址
         yield scrapy.Request(url=self.start_urls[0],callback=self.parse)
 
     # 响应信息
     def parse(self, response):
         # 打印登录后的用户名信息
         print(response.xpath('//*[@id="db-global-nav"]/div/div[1]/ul/li[2]/a/span[1]/text()').extract_first())
         pass

  2. Cookies中间件（middlewares.py）

     # 自定义cookies中间件
 class CookiesdemoMiddleware(object):
     # 初始化
     def __init__(self,cookies_str):
         self.cookies_str = cookies_str
 
     @classmethod
     def from_crawler(cls, crawler):
         return cls(
             # 获取配置文件中的cookies信息
             cookies_str = crawler.settings.get('COOKIES_DEMO')
         )
     cookies = {}    # 保存格式化以后的cookies
     def process_request(self, request, spider):
         for cookie in self.cookies_str.split(';'):    # 通过；分割cookies字符串
             key, value = cookie.split('=', 1)          # 将key与值进行分割
             self.cookies.__setitem__(key,value)        # 将分割后的数据保存至字典中
         request.cookies = self.cookies                 # 设置格式化以后的cookies

  3. 随机请求头中间件（middlewares.py）

    from fake_useragent import UserAgent  # 导入请求头类
# 自定义随机请求头的中间件
class RandomHeaderMiddleware(object):
    def __init__(self, crawler):
        self.ua = UserAgent()  # 随机请求头对象
        # 如果配置文件中不存在就使用默认的Google Chrome请求头
        self.type = crawler.settings.get("RANDOM_UA_TYPE", "chrome")

    @classmethod
    def from_crawler(cls, crawler):
        # 返回cls()实例对象
        return cls(crawler)

    # 发送网络请求时调用该方法
    def process_request(self, request, spider):
        # 设置随机生成的请求头
        request.headers.setdefault('User-Agent', getattr(self.ua, self.type))

  4. 配置（settings.py）

     DOWNLOADER_MIDDLEWARES = {
     # 启动自定义cookies中间件
     'cookiesDemo.middlewares.CookiesdemoMiddleware': 201,
     # 启动自定义随机请求头中间件
    'cookiesDemo.middlewares.RandomHeaderMiddleware':202,
     # 禁用默认生成的配置信息
    'cookiesDemo.middlewares.CookiesdemoDownloaderMiddleware': None,
 }
COOKIES_STR = "从浏览器获取的真实Cookie字符串"  # 格式：key1=value1; key2=value2

🔎3.随机代理IP中间件

需求背景：避免IP被封锁，提升请求成功率

实现步骤：

  1. 爬虫代码（ipSpider.py）

    # -*- coding: utf-8 -*-
import scrapy


class IpspiderSpider(scrapy.Spider):
    name = 'ipSpider'
    allowed_domains = ['httpbin.org/get']
    start_urls = ['http://httpbin.org/get/']

    # # 发送网络请求
    # def start_requests(self):
    #     return [scrapy.Request('http://httpbin.org/get',callback = self.parse,
    #                            meta={'proxy':'http://117.88.177.0:3000'})]

    #发送网络请求
    def start_requests(self):
        return [scrapy.Request('http://httpbin.org/get',callback = self.parse)]
    # 响应信息
    def parse(self, response):
        print(response.text)  # 打印返回的响应信息
        pass

# 导入CrawlerProcess类
from scrapy.crawler import CrawlerProcess
# 导入获取项目设置信息
from scrapy.utils.project import get_project_settings


# 程序入口
if __name__=='__main__':
    # 创建CrawlerProcess类对象并传入项目设置信息参数
    process = CrawlerProcess(get_project_settings())
    # 设置需要启动的爬虫名称
    process.crawl('ipSpider')
    # 启动爬虫
    process.start()

  2. 代理中间件（middlewares.py）

    class IpRandomProxyMiddleware(object):
    # 定义有效的代理ip列表
    PROXIES = [
        '117.88.177.0:3000',
        '117.45.139.179:9006',
        '202.115.142.147:9200',
        '117.87.50.89:8118']
    # 发送网络请求时调用
    def process_request(self, request, spider):
        proxy = random.choice(self.PROXIES)          # 随机抽取代理ip
        request.meta['proxy'] = 'http://'+proxy      # 设置网络请求所使用的代理ip

  3. 配置（settings.py）

    DOWNLOADER_MIDDLEWARES = {
    # 激活自定义随机获取代理ip的中间件
    'ipDemo.middlewares.IpRandomProxyMiddleware':200,
    # 禁用默认生成的中间件
   'ipDemo.middlewares.IpdemoDownloaderMiddleware': None
}

🔎4.关键说明

  1. 中间件执行顺序：通过数字权重控制（范围100-900），数值越小越早执行
  2. 调试技巧：通过scrapy shell测试中间件效果
  3. 最佳实践：
    • 代理IP需定期验证有效性
    • Cookies需通过浏览器登录后获取真实值
    • 请求头类型建议优先使用"random"

完整项目结构应包含：

project/
├── scrapy.cfg
└── project/
    ├── __init__.py
    ├── middlewares.py
    ├── settings.py
    └── spiders/
        ├── __init__.py
        ├── headerSpider.py
        ├── cookieSpider.py
        └── ipSpider.py
【愚公系列】《Python网络爬虫从入门到精通》049-了解Scrapy爬虫框架
时光隧道
04-13 8739
大家好，欢迎来到《Python网络爬虫从入门到精通》系列教程的第48篇文章。经过前面几十篇的学习，我们已经掌握了使用 requests、BeautifulSoup、Selenium 等工具进行数据抓取的基本方法。然而，随着项目的复杂度提升，这些工具在面对大型、高并发、高可维护性的爬虫任务时，往往力不从心。这时候，专业的爬虫框架——Scrapy，就该登场了。Scrapy 是一个由 Python 编写的、功能强大的异步爬虫框架，它具备高性能、模块化、易扩展等诸多优点，被广泛应用于各种数据采集任务中。
【愚公系列】《Python网络爬虫从入门到精通》054-Scrapy 文件下载
时光隧道
04-19 7797
在前面的章节中，我们已经系统地学习了 Scrapy 框架的基础应用和一些进阶技巧，本篇文章将重点讲解如何使用 Scrapy 实现文件下载，让你能够抓取网页中的各类文件，如图片、PDF、音视频等。在爬虫开发中，文件下载是一个非常常见的需求，尤其是在进行图片爬取、资料抓取等项目时，我们需要考虑如何高效地下载和存储文件。Scrapy 提供了非常强大的文件下载支持，能够帮助我们轻松应对这些任务。Scrapy 文件下载的基本原理：了解 Scrapy 如何处理文件下载，掌握文件下载的基本流程。
【愚公系列】《Python网络爬虫从入门到精通》058-自定义分布式爬取诗词排行榜数据
时光隧道
04-20 8004
在前几篇中，我们已经系统学习了如何搭建分布式爬虫系统，并使用 Scrapy 和 Redis 实现数据的高效抓取与存储。今天，我们将带领大家走进一个更具创意的项目——自定义分布式爬取诗词排行榜数据。诗词文化作为中国传统文化的重要组成部分，一直以来都备受人们喜爱。在互联网上，很多平台会定期发布各类诗词排行榜，展示热门的诗词作品、作者以及相关的评论和评分。通过分布式爬虫抓取这些数据，不仅可以帮助我们了解当下热门的诗词，还能进行更深层次的数据分析与挖掘。分析诗词排行榜网站结构。
【愚公系列】《Python网络爬虫从入门到精通》057-分布式爬取中文日报新闻数据
时光隧道
04-20 8614
在前几篇中，我们已经深入探讨了 Scrapy 和 Redis 的基本应用，以及如何利用实现分布式爬虫系统。今天，我们将带领大家实际操作，通过分布式爬取中文日报新闻数据，进一步提升我们在实际项目中的应用能力。在爬虫开发中，新闻数据的爬取是一个非常典型的应用场景。通过爬取中文日报网站的新闻数据，我们不仅可以获取到实时的新闻信息，还能够深入分析新闻内容，进行数据挖掘与应用。而使用分布式爬虫架构，可以让我们在面对大规模新闻数据时，轻松实现高效的数据抓取与处理。分析中文日报网站结构。
【粉丝福利社】Python网络爬虫从入门到精通
热门推荐
时光隧道
11-28 3万+
在大数据、人工智能应用越来越普遍的今天，Python可以说是当下世界上最热门、应用最广泛的编程语言之一，在人工智能、爬虫、数据分析、游戏、自动化运维等各个方面，无处不见其身影。随着大数据时代的来临，数据的收集与统计占据了重要地位，而数据的收集工作在很大程度上需要通过网络爬虫来爬取，所以网络爬虫技术变得十分重要。本书提供了Python网络爬虫开发从入门到编程高手所必需的各类知识，共分4篇。第1篇：基础知识。
愚公系列《Python网络爬虫从入门到精通》066-项目实战电商数据侦探（系统功能）
04-24
《Python网络爬虫从入门到精通》是针对编程爱好者及从事数据抓取工作人士的一本专业图书，该书详细介绍了Python编程语言在网络爬虫领域的应用，旨在帮助读者从基础开始，逐步掌握网络爬虫的编写和运用。特别是对于...
【愚公系列】《Python网络爬虫从入门到精通》050-搭建 Scrapy 爬虫框架
时光隧道
04-13 7453
在之前的教程中，我们已经了解了 Scrapy 框架的基本概念和优势，今天我们将进入更深一步的学习，带大家实际操作，搭建一个完整的 Scrapy 爬虫框架。相比之前手写的简单爬虫，Scrapy 为我们提供了一个高效、结构化的开发环境，使得我们可以快速构建、管理、优化和扩展爬虫项目。通过 Scrapy，开发者能够轻松应对大规模的网页抓取任务，同时处理复杂的数据管道和存储方式。如何安装和配置 Scrapy 环境：从安装到环境配置，让你在本地快速启动项目。搭建一个 Scrapy 项目。
【愚公系列】《Python网络爬虫从入门到精通》015-案例：爬取豆瓣电影Top 250
时光隧道
02-16 2万+
在信息丰富的互联网时代，网络爬虫技术为我们提供了获取和分析数据的强大工具。作为一个涵盖了大量影视信息的平台，豆瓣电影以其丰富的用户评分和评论，成为了电影爱好者和研究者的重要资源。而在众多的数据抓取项目中，爬取豆瓣电影Top 250无疑是一个经典且颇具挑战性的案例。在本期文章中，我们将详细解析如何利用Python编写网络爬虫，专门针对豆瓣电影Top 250进行数据抓取。我们将一步步介绍从分析网页结构、构建请求、处理响应，到提取电影信息（如标题、评分、评论等）的整个流程。
【愚公系列】《Python网络爬虫从入门到精通》022-Splash的爬虫应用
时光隧道
02-19 1万+
在当今互联网技术飞速发展的时代，网页数据的提取变得愈发复杂。许多网站使用JavaScript来动态生成内容，这使得传统爬虫工具难以有效抓取所需数据。而Splash，一个基于Python的JavaScript渲染服务，提供了一种解决方案，使得我们能够轻松处理这些动态网页。在本期文章中，我们将深入探讨Splash的爬虫应用。我们将介绍Splash的基本概念、安装与配置，以及如何利用它进行网页抓取。
Java爬虫技术详解：原理、实现与优势
最新发布
m0_66884848的博客
06-05 404
Java网络爬虫是自动化获取网络数据的重要工具，主要由URL管理器、网页下载器、解析器和存储器等核心组件构成。常用框架包括Jsoup（轻量HTML解析）、HttpClient（HTTP客户端）和WebMagic（全功能框架）。实现步骤包括目标确定、网页分析、核心逻辑编写（含动态内容处理）和数据存储。Java爬虫具有稳定性强、性能优异和丰富生态等优势，支持多线程和分布式爬取，并能通过代理轮换等方式应对反爬策略。其广泛应用于搜索引擎、数据分析等领域，是高效获取网络信息的可靠解决方案。
分析XSSstrike源码
2201_75445650的博客
05-31 1237
理解XSSstrike运作原理，学习其中的技术模块功能说明是否有独立文件/目录智能 Payload 生成器根据上下文动态构造有效 Payload，而非使用固定词典HTML/JS 解析器手工编写的解析器，能理解上下文下可能包含Fuzzing 引擎自动注入参数 + 分析响应 + 变异构造爬虫引擎多线程爬虫（基于 Photon）参数发现工具自动挖掘 URL 参数（可能集成 Arjun）WAF 探测与绕过检测是否被 WAF 拦截并尝试绕过DOM XSS 扫描。
(Python网络爬虫)；抓取B站404页面小漫画
洞天察地，万物之理；物理人太难了！
06-02 1410
一个网络爬虫的小案例，提供了多进程和异步版本的实现。
python爬虫：Newspaper3k 的详细使用（好用的新闻网站文章抓取和解析的Python库）
数据知道的博客
06-04 388
Newspaper3k 是一个用于新闻网站文章抓取和解析的Python库。它可以帮助你从新闻网站中提取文章标题、作者、发布时间、正文内容等信息。
「数据分析 - NumPy 函数与方法全集」【数据分析全栈攻略：爬虫+处理+可视化+报告】
m0_60605989的博客
06-05 912
NumPy 函数与方法全集摘要（150字） 本文系统整理了NumPy核心功能：1. 数组创建（array/asarray）与初始化（zeros/ones/empty）方法；2. 数组操作包括形状变换（reshape/resize）和合并分割（concatenate/vstack）；3. 数学运算如基础计算（add/multiply）和统计方法（sum/mean）；4. 随机数生成（rand/randint）与概率分布（normal/uniform）；5. 文件IO操作（save/savetxt）。重点说明各
Facebook用户信息爬虫技术分析与实现详解
weixin_74305707的博客
06-04 855
在当今数据驱动的时代，社交媒体数据的获取和分析变得越来越重要。本文将深入分析一个Facebook用户信息爬虫的实现原理，涵盖用户搜索、信息提取、并发处理等核心技术。
JS逆向爬虫教程与实战技巧
weixin_44617651的博客
06-05 967
想要一个关于爬虫JS逆向的详细教程。这是一个很专业的技术需求，最近有个可能是正在学习爬虫技术的开发者或者数据分析师，遇到了需要解开JavaScript加密的反爬机制的问题，想让我出一期实战教程，话不多说，开干。
python爬虫：RoboBrowser 的详细使用
数据知道的博客
06-01 455
RoboBrowser是结合Requests与BeautifulSoup的轻量级Python爬虫库，无需浏览器驱动即可实现表单提交、数据抓取等网页自动化操作。文章详解其安装、基本用法（访问网页、元素查找、表单处理）和高级功能（文件上传、Cookies管理、代理设置），并通过登录网站、分页抓取等案例演示实战应用。虽然不支持JavaScript渲染，但凭借简单API和优秀性能，RoboBrowser非常适合静态页面爬取和快速开发，是替代Selenium的轻量化选择。
python爬虫：Ruia的详细使用（一个基于asyncio和aiohttp的异步爬虫框架）
数据知道的博客
06-02 463
Ruia是一个基于asyncio和aiohttp的Python异步爬虫框架，设计简洁高效，支持快速开发高性能爬虫。框架核心模块包括Request（异步网络请求）、Response（统一响应处理）、Item（数据提取规则）和Spider（爬虫入口）。通过CSS Selector/XPath选择器和Field字段（AttrField、TextField等）实现网页数据抓取，支持单/多目标数据提取。其异步特性可显著提升爬取速度，同时提供中间件机制和钩子函数扩展功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

愚公搬代码

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值