Python爬虫之协程,异步协程和多任务异步协程

本文介绍了Python协程的概念,强调了其轻量级和高效的特性,特别适合于异步操作。文章详细讲解了异步协程的组成部分,如event loop、coroutine、task和future,并提供了创建和使用协程对象的实例。通过多任务异步协程的示例,展示了如何有效地并发执行任务,从而节省程序运行时间。注意在异步环境下,推荐使用aiohttp模块而非request模块。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >


一. 协程

协程,英文叫做 Coroutine,又称微线程,纤程,协程是一种用户态的轻量级线程。
协程拥有自己的寄存器上下文和栈。协程调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈。因此协程能保留上一次调用时的状态,即所有局部状态的一个特定组合,每次过程重入时,就相当于进入上一次调用的状态。
协程本质上是个单进程,协程相对于多进程来说,无需线程上下文切换的开销,无需原子操作锁定及同步的开销,编程模型也非常简单。
我们可以使用协程来实现异步操作,比如在网络爬虫场景下,我们发出一个请求之后,需要等待一定的时间才能得到响应,但其实在这个等待过程中,程序可以干许多其他的事情,等到响应得到之后才切换回来继续处理,这样可以充分利用 CPU 和其他资源,这就是异步协程的优势。

二. 异步协程

对于异步协程的一些概念:

  1. event——loop:时间循环,相当于一个无限循环,我们可以把一些函数注册到这个事件循环上,当满足某些条件的时候,函数就会被循环执行。
  2. coroutine:协程对象,我们可以将携程对象注册到事件循环中,它会被事件循环调用。我们可以使用asyps 关键字来定义一个方法,这个 方法在调用时不会被立即执行,而是返回一个携程对象。
  3. task: 任务,它是对携程对象的进一步封装,包含了任务的各个状态。
  4. future: 代表将来执行或还没有执行的任务,实际上和task没有本质区别。
  5. async :定义一个协程。
  6. await:用来挂起阻塞方法的执行。

创建一个协程对象并使用

import asyncio

async def request(url):
    print('正在请求的url是',url)
    print('请求成功',url)
    #async修饰的函数,调用之后返回的一个协程对象
c = request('www.baidu.com')

#创建一个事件循环对象
loop = asyncio.get_event_loop()
#将协程对象注册到loop中,然后启动loop
loop.run_until_complete(c)

在这里插入图片描述

task的创建与使用

import asyncio

async def request(url):
    print('正在请求的url是',url)
    print(
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

汤米先生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值