Python因多重处理而意外退出

问题描述

我有一个利用pandas数据框并将函数应用于每一行的脚本。为了加快速度，我引入了多处理功能，并且它在很多时候都运行良好，但是有时它会完全崩溃，并且Python会意外退出。当我尝试处理大批1k +行时，这种情况似乎最经常发生。如果使用Mac，可以使用Mac。我的多处理功能中是否缺少某些东西或需要更改？

此外，发生这种情况时，脚本不会出错。除非我强迫退出Python，否则它基本上会无限运行。

import numpy as np
import pandas as pd
from multiprocessing import Pool

def parallelize_dataframe(df,func,n_cores=8):
    df_split = np.array_split(df,n_cores)
    pool = Pool(n_cores)
    df = pd.concat(pool.map(func,df_split))
    pool.close()
    pool.join()
    return df


df = pd.DataFrame([[1,2],[1,3],[4,6]],columns=['A','B'])

df = parallelize_dataframe(df,my_functions)

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）