引言:为什么需要异步任务?
在开发 Web 应用时,我们常遇到需要执行耗时操作的场景,比如:
- 邮件发送:用户注册后需要发送欢迎邮件
- 数据生成:用户请求生成复杂报表
- 文件处理:上传视频后需要转码或压缩
- 外部 API 调用:调用第三方接口获取数据
如果这些操作在主线程中同步执行,会导致用户等待时间过长,甚至引发服务器阻塞。异步任务的出现,正是为了解决这一痛点,让耗时操作在后台执行,用户无需等待。
一、什么是 Celery?
Celery 是一个基于 Python 的分布式任务队列(Distributed Task Queue),支持异步任务处理和任务调度。它的工作原理如下:
- 生产者(Producer):Django 应用将任务发送到消息队列(如 Redis 或 RabbitMQ)
- 消费者(Worker):Celery Worker 从队列中取出任务并执行
- Broker:消息中间件(如 Redis),负责任务的中转和存储
- 结果后端(Backend):存储任务执行结果(如 Redis 或数据库)
二、实战:用 Django + Celery 实现异步任务
1. 环境准备
# 安装 Celery 及 Redis(推荐作为 Broker)
pip install celery redis
2. 配置 Celery
在 Django 项目根目录下创建 celery.py
文件:
# project/celery.py
import os
from celery import Celery
# 设置默认 Django 设置模块
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'project.settings')
app = Celery('project')
app.config_from_object('django.conf:settings')
app.autodi