Python grequests库：高效的异步HTTP请求

更多Python学习内容：ipengtao.com

在现代Web开发和数据采集领域，处理大量的HTTP请求是常见的需求。通常情况下，Python开发者会使用 requests 库进行同步HTTP请求处理。然而，当面对成千上万的请求时，逐个发送请求效率低下，并且会导致显著的性能瓶颈。为了解决此问题，grequests 库通过 gevent 协程支持并发请求，提供了更加高效的异步HTTP请求解决方案。

安装

grequests 库依赖 requests 和 gevent 库，可以通过以下命令来安装：

pip install grequests

确保同时安装了 requests 和 gevent。

在安装成功后，可以通过导入 grequests 来确认安装是否正确：

import grequests
print(grequests.__version__)

安装完成后，即可使用 grequests 发起并发的HTTP请求，大幅提升请求处理效率。

主要功能

• 基于 requests 的API接口，易于上手

• 使用 gevent 协程实现异步请求

• 支持批量请求、超时设置及异常处理

• 灵活的回调机制与请求配置选项

• 对多种HTTP方法的支持（如 GET、POST、PUT 等）

这些功能使得 grequests 成为处理大量HTTP请求场景中的利器，特别适用于爬虫和数据采集任务。

基础功能

并发发送多个请求

grequests 的核心功能是批量发送多个HTTP请求并同时接收响应。

以下是一个并发发送多个请求的基本示例：

import grequests

urls = [
    'https://httpbin.org/get?param=1',
    'https://httpbin.org/get?param=2',
    'https://httpbin.org/get?param=3'
]

# 创建请求对象列表
requests = [grequests.get(url) for url in urls]

# 并发发送请求并获取响应
responses = grequests.map(requests)

# 输出每个响应的状态码和URL
for response in responses:
    if response:
        print(response.status_code, response.url)

在这个示例中，创建了一个包含多个 GET 请求的列表，并使用 grequests.map() 并发地发送请求并接收响应。map() 方法会等待所有请求完成，并返回一个包含所有响应对象的列表。

处理超时和异常

在批量处理请求时，难免会遇到请求超时或异常。grequests 允许为每个请求设置超时时间，并提供异常处理机制。

以下是一个包含超时设置和异常处理的示例：

import grequests

# 异常处理函数
def exception_handler(request, exception):
    print(f"Request to {request.url} failed: {exception}")

urls = [
    'https://httpbin.org/get?param=1',
    'https://httpbin.org/get?param=2',
    'https://invalid-url'  # 模拟一个错误URL
]

requests = [grequests.get(url, timeout=2) for url in urls]

# 使用自定义的异常处理函数
responses = grequests.map(requests, exception_handler=exception_handler)

# 处理响应
for response in responses:
    if response:
        print(response.status_code, response.url)

此示例中，exception_handler 捕获了无效URL引发的异常，并输出错误信息。同时，为每个请求设置了2秒的超时时间，避免长时间阻塞。

异步POST请求

除了 GET 请求外，grequests 还支持其他HTTP方法，如 POST、PUT 等。

以下是并发发送 POST 请求的示例：

import grequests

urls = [
    'https://httpbin.org/post',
    'https://httpbin.org/post'
]

data = {'key': 'value'}
requests = [grequests.post(url, data=data) for url in urls]

responses = grequests.map(requests)

for response in responses:
    if response:
        print(response.status_code, response.json())

在这个示例中，我们并发发送了多个 POST 请求，并传递了数据。grequests 支持常见的HTTP方法，便于灵活配置请求类型。

进阶功能

使用回调函数处理响应

在批量请求中，回调函数为每个请求处理响应提供了极大的灵活性。

以下是使用回调函数处理响应的示例：

import grequests

# 自定义响应处理回调函数
def response_handler(response, **kwargs):
    print(f"Received response from {response.url}: {response.status_code}")

urls = [
    'https://httpbin.org/get?param=1',
    'https://httpbin.org/get?param=2'
]

# 为每个请求附加响应回调函数
requests = [grequests.get(url, hooks={'response': response_handler}) for url in urls]

grequests.map(requests)

在这个示例中，response_handler 回调函数会在请求完成时被调用，打印响应的URL和状态码。通过 hooks 参数为每个请求附加回调函数，使得请求完成后的处理更加灵活。

控制并发请求的数量

在某些情况下，开发者可能需要限制并发请求的数量，以避免过度占用资源。

grequests 提供了 size 参数，控制每批次的并发请求数量：

import grequests

urls = [
    'https://httpbin.org/get?param=1',
    'https://httpbin.org/get?param=2',
    'https://httpbin.org/get?param=3'
]

requests = [grequests.get(url) for url in urls]

# 限制并发请求数量为2
responses = grequests.map(requests, size=2)

for response in responses:
    if response:
        print(response.status_code, response.url)

通过 size 参数，将并发请求数限制为2，避免一次性发送过多请求。这在资源有限或目标服务器有请求频率限制的情况下尤为实用。

自定义请求头与参数

在处理某些API请求时，可能需要设置请求头、参数或认证信息。

以下是一个包含自定义请求头的示例：

import grequests

urls = [
    'https://httpbin.org/get',
    'https://httpbin.org/get'
]

# 自定义请求头
headers = {'User-Agent': 'my-app/1.0'}
requests = [grequests.get(url, headers=headers) for url in urls]

responses = grequests.map(requests)

for response in responses:
    if response:
        print(response.status_code, response.request.headers)

在这个示例中，为每个请求添加了自定义的 User-Agent 请求头，便于识别或满足目标服务器的要求。

实际应用

高效网页抓取

在数据采集和网页抓取任务中，grequests 是处理大量页面请求的理想工具。

以下是一个基于 grequests 的批量网页抓取示例：

import grequests
from bs4 import BeautifulSoup

urls = [
    'https://example.com/page1',
    'https://example.com/page2',
    'https://example.com/page3'
]

requests = [grequests.get(url) for url in urls]

# 并发发送请求
responses = grequests.map(requests)

# 解析页面内容
for response in responses:
    if response and response.status_code == 200:
        soup = BeautifulSoup(response.text, 'html.parser')
        print(soup.title.text)

在这个示例中，grequests 并发发送多个网页请求，并使用 BeautifulSoup 解析HTML内容。通过并发请求，能够显著提高抓取效率。

多API接口数据处理

在需要同时从多个API接口获取数据的场景中，grequests 提供了便捷的并发处理方式。

以下是一个并发访问多个API并处理响应的示例：

import grequests

api_urls = [
    'https://api.example.com/data1',
    'https://api.example.com/data2',
    'https://api.example.com/data3'
]

requests = [grequests.get(url) for url in api_urls]

# 并发请求API
responses = grequests.map(requests)

# 处理API响应数据
for response in responses:
    if response:
        data = response.json()
        print(data)

在该示例中，grequests 并发发送API请求并处理返回的JSON数据，非常适合在需要聚合多个数据源的应用中使用。

总结

grequests 是一个基于 requests 和 gevent 的高效异步HTTP请求库，专为需要处理大量并发请求的应用而设计。通过简单的 API，grequests 让开发者能够快速并发发送多个请求，并支持常见的 HTTP 方法和请求配置选项。它具备超时设置、异常处理和回调支持，能够轻松管理批量请求并确保稳定性。在数据采集、爬虫开发和多接口数据处理场景中，grequests 提供了显著的性能提升，使处理大量请求变得更加便捷高效，是 Python 异步请求处理的理想工具。

如果你觉得文章还不错，请大家 点赞、分享、留言 下，因为这将是我持续输出更多优质文章的最强动力！

---

我们还为大家准备了Python资料，感兴趣的小伙伴快来找我领取一起交流学习哦！

往期推荐

Python基础学习常见的100个问题.pdf（附答案）

Python办公自动化完全指南(免费PDF)

Python Web 开发常见的100个问题.PDF

Beautiful Soup快速上手指南，从入门到精通(PDF下载)

124个Python案例，完整源代码！

80个Python数据分析必备实战案例.pdf(附代码)，完全开放下载

120道Python面试题.pdf ，完全版开放下载

全网最全 Pandas的入门与高级教程全集，都在这里了！(PDF下载)

点击下方“阅读原文”查看更多