Python joblib执行，用于并行处理大型数据和导入大型模块

编程问答 2022-08-16

问题描述

问题是如何仅导入numpy一次。因为在下面的场景中，为每个并行作业导入了numpy。

我们能否以某种方式仅导入一次并在所有并行作业中使用

import numpy,multiprocessing
from joblib import Parallel,delayed
import test_module
total_target=20 
for i in range(total_target):
  cores_availible = min(multiprocessing.cpu_count(),60)
  jobs = min(cores_availible,20))
  Parallel(n_jobs=jobs,verbose=5)(delayed(test_module.test)() for i in 
  range(total_target))

 test_module
 ---------------------
 import numpy
 #Work on some numpy functions without any common data

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

importjoblibnumpyparallel-processingpython