将具有多个输入的列表理解并行化 python

问题描述

我有一个需要返回值的大数据集，但是运行它需要很长时间（我使用进度条运行列表理解），因此我正在考虑并行化列表理解。然而，当在小样本上运行它时，它需要比原始列表推导更长的时间。

这是我的列表理解，它将返回最近的 osmnx 节点

%%time
origins=[ox.get_nearest_node(G,(y[i],x[i])) for i in pbar(list(range(len(buildings))))] 

这是我已经尝试过将 origin 作为带有参数 (G,y,x) 的函数的多处理。 Buildings 是一个包含所有建筑物几何形状的数据集。

x = [buildings.geometry[i].centroid.y for i in list(range(len(buildings)))]
y = [buildings.geometry[i].centroid.y for i in list(range(len(buildings)))]
params = ((G,orig,dest) for orig,dest in zip(y,x))

def origins(G,x,y):
  return ox.get_nearest_node(G,(y,x))

#create a pool of worker processes
pool = mp.Pool(3)

#map the function/parameters to the worker processes
sma = pool.starmap_async(origins,params)

%%time
#get the results,close the pool,wait for worker processes to all exit
routes = sma.get()
pool.close()
pool.join()

有人可以帮助我并行化我的列表理解，从而使我的过程更快

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）