内存效率处理大型数据集

问题描述

我有一个像这样的数据集（实际数据有更多列和数百万行：

data = {'stringID':['AB CD Efdadasfd','RFDS EDSfdsadf dsa','FDSADFDSADFFDSA'],'IDct':[1,2,3]}
data = pd.DataFrame(data)
data['Index1'] = [[3],[7,9],[5,6,8]]
data['Index2'] = [[4],[10,13],[8,9,10]]

列表在这里具有动态长度，我正在尝试使用列表中的索引对字符串进行切片，以下脚本可以工作，但是在处理数百万行数据时它会消耗大量内存，而python不会将内存返回给系统自动运行，导致运行整个脚本时出现问题。

data['Output1'] = [x[y[0]:z[0]] for x,y,z in data[['stringID','Index1','Index2']].to_numpy()]
data.loc[data['IDct']>1,'Output2'] = [x[y[1]:z[1]] for x,z in data[data['IDct']>1][['stringID','Index2']].to_numpy()]
data.loc[data['IDct']>2,'Output3'] = [x[y[2]:z[2]] for x,z in data[data['IDct']>2][['stringID','Index2']].to_numpy()]

我正在尝试gc.collect（），但是在释放内存方面效果不佳。在脚本中的每个步骤之后，运行相同计算的内存有效方式是什么，或者将内存释放回系统的方式是什么？请告知，谢谢。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）