什么是传参报表导出功能?

自学Java开发技术靠谱吗?

  返回  

Python线程池的使用

2021/8/20 14:04:16 浏览:

目录

    • 往期推荐
    • 线程池介绍
    • map方法
    • submit+as_completed方法

往期推荐

Python多线程的使用

B站同名【有温度的算法】已经上线
想观看视频讲解的同学
点击此处直达B站

线程池介绍

因为新建线程系统需要分配资源、终止线程系统需要回收资源,所以如果可以重用线程,则可以减去新建/终止的开销以提升性能。同时,使用线程池的语法比自己新建线程执行线程更加简洁。

Python为我们提供了ThreadPoolExecutor来实现线程池,此线程池默认子线程守护。它的适应场景为突发性大量请求或需要大量线程完成任务,但实际任务处理时间较短。比如我们需要下载大量歌曲,我们就可以建立线程池进行下载。

map方法


from concurrent.futures import ThreadPoolExecutor
from time import sleep
import random
random.seed (1)

def music(music_name):
    x = random.randint(1,4)
    print('正在下载{}'.format(music_name))
    sleep(x)
    return '{}下载成功, 花费{}秒'.format(music_name, x)

if __name__ == '__main__':
    with ThreadPoolExecutor(max_workers=5) as executor:
        ans = executor.map(music, ['稻香', '七里香', '游园会', '浪漫手机', '珊瑚海'])
        for res in ans:
            print(res)

    print('全部下载完成!!!')

首先导入库,使用with方法建立线程池,max_workers为线程池中的线程个数,然后使用map方法启动线程对需下载歌曲进行遍历。

map(map_fun, itr_arg)方法与python中的map函数一样,参数map_fun需要传入要执行的函数,itr_arg传入一个可迭代的参数,比如列表。map函数会按照列表中的先后顺序进行遍历。

因为案例中的函数有返回值,所以我们使用变量ans进行接收。即使后运行的线程率先完成任务,也并不会影响ans的返回顺序,它的返回顺序与map函数遍历的顺序相同。

比如我们将线程池的线程数设置为5,那么就会对5首歌同时进行下载,可以看到七里香只花费了1秒,它是第二个开始运行但却是第一个下载结束,所以在返回时它的返回值仍是第二的位置,而不是第一个返回。


----输出----
正在下载稻香
正在下载七里香
正在下载游园会
正在下载浪漫手机
正在下载珊瑚海
稻香下载成功, 花费2秒
七里香下载成功, 花费1秒
游园会下载成功, 花费3秒
浪漫手机下载成功, 花费1秒
珊瑚海下载成功, 花费4秒
全部下载完成!!!

若将max_workers设置为2,则会先对列表中前2首歌同时下载,然后下载第三首与第四首,最后下载最后一首,返回结果是按从头到尾的顺序。

----输出----
正在下载稻香
正在下载七里香
正在下载游园会
正在下载浪漫手机
稻香下载成功, 花费2秒
七里香下载成功, 花费1秒
正在下载珊瑚海
游园会下载成功, 花费3秒
浪漫手机下载成功, 花费1秒
珊瑚海下载成功, 花费4秒
全部下载完成!!!

submit+as_completed方法

submit(fun, args)方法的第一个参数依然是我们需要执行的函数,但是第二个参数我们只能传入一个值,而不是一个可迭代的参数。
在接受结果时,使用as_completed方法,返回结果是谁先结束就返回谁!而不再按照顺序返回,我们可以使用result()方法接收结果。

from concurrent.futures import ThreadPoolExecutor, as_completed
from time import sleep
import random
random.seed (1)

def music(music_name):
    x = random.randint(1,4)
    print('正在下载{}'.format(music_name))
    sleep(x)
    return '{}下载成功, 花费{}秒'.format(music_name, x)

if __name__ == '__main__':
    with ThreadPoolExecutor(max_workers=5) as executor:
        music_list = ['稻香', '七里香', '游园会', '浪漫手机', '珊瑚海']
        ans = [executor.submit(music, m) for m in music_list]
        for res in as_completed(ans):
            print(res.result())

    print('全部下载完成!!!')

我们可以看到在使用submit+as_complete之后,返回结果为先下载完成的歌曲率先返回。若不使用as_complete,返回结果依旧是按遍历顺序返回,与map结果一致,但是代码繁琐了。

----输出----
正在下载稻香
正在下载七里香
正在下载游园会
正在下载浪漫手机
正在下载珊瑚海
浪漫手机下载成功, 花费1秒
七里香下载成功, 花费1秒
稻香下载成功, 花费2秒
游园会下载成功, 花费3秒
珊瑚海下载成功, 花费4秒
全部下载完成!!!

根据业务场景的不同,若我们需要结果顺序返回,我们就用map方法,若想谁先完成则返回谁,我们就用submit+as_complete方法。

以上为Python线程池的的基本使用方法,获取本章代码集合,请在公众号后台回复【多线程】即可获取,欢迎各位。
在这里插入图片描述

联系我们

如果您对我们的服务有兴趣,请及时和我们联系!

服务热线:18288888888
座机:18288888888
传真:
邮箱:888888@qq.com
地址:郑州市文化路红专路93号