airflow设置dag并行运行task个数

最新推荐文章于 2024-08-23 17:32:37 发布

熊猫学猿

最新推荐文章于 2024-08-23 17:32:37 发布

阅读量3.1k

点赞数

分类专栏： python

本文链接：https://blog.csdn.net/liuhongwei_study/article/details/118568799

版权

python 专栏收录该内容

25 篇文章

订阅专栏

本文介绍了Apache Airflow中DAG并发执行任务的配置参数`concurrency`的用法。通过设置`concurrency`，可以指定DAG同时运行的最大任务数量。示例中展示了正确设置该参数的方法：将其放置在`DAG`构造函数内而非`default_args`字典中。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

concurrency是设置设置dag并行运行task的个数，但是

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2020,9,13),#任务启动时间点，须小于实际执行的时间的下一个间隔
    'email': ['airflow@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    'concurrency': 15
}

dag = DAG(
    'tutorial',
    default_args=default_args,
    description='A simple tutorial DAG',
    schedule_interval=timedelta(days=1),
)

写在参数列表时无效的

default_args = {
    'owner': 'airflow',
    'depends_on_past': False,
    'start_date': datetime(2020,9,13),#任务启动时间点，须小于实际执行的时间的下一个间隔
    'email': ['airflow@example.com'],
    'email_on_failure': False,
    'email_on_retry': False,
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    
}

dag = DAG(
    'tutorial',
    default_args=default_args,
   concurrency: 15
    description='A simple tutorial DAG',
    schedule_interval=timedelta(days=1),
)

这样写才有效