python 多线程submit的源码分析

最新推荐文章于 2024-01-07 18:19:40 发布

luo_xinyu

最新推荐文章于 2024-01-07 18:19:40 发布

阅读量2.6k

点赞数

分类专栏： Python

本文链接：https://blog.csdn.net/qq_24551305/article/details/98746772

版权

本文深入探讨了Python多线程中submit方法的工作原理，包括提交任务时的锁机制、Future实例创建、任务对象的生成以及线程的运行流程。通过分析，揭示了线程如何从任务队列中获取并执行任务，以及进程池map方法的内部实现，特别是如何通过submit顺序生成任务结果。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

submit

def submit(self, fn, *args, **kwargs):
    with self._shutdown_lock:
        if self._broken:
            raise BrokenThreadPool(self._broken)

        if self._shutdown:
            raise RuntimeError('cannot schedule new futures after shutdown')
        if _shutdown:
            raise RuntimeError('cannot schedule new futures after '
                               'interpreter shutdown')

        f = _base.Future()
        w = _WorkItem(f, fn, args, kwargs)

        self._work_queue.put(w)
        self._adjust_thread_count()
        return f

1、submit的时候进入 with self._shutdown_lock: 这个锁是为了同一个进程池在不同线程中加任务是不冲突。
2、f = _base.Future() 创建每个任务的Future实例。
3、w = _WorkItem(f, fn, args, kwargs) 创建每个任务的对象实例，这个实例会被加入到任务队列中self._work_queue.put(w)，等待被线程get。可以看到Future和任务函数都在这个任务中。
4、self._adjust_thread_count()<