通过DASK连接非常大的数据帧

问题描述

我有大型的csv文件（每个3gb 5个csv），并且需要在不崩溃的情况下将它们连接起来。 根据之前发布的一些问题和答案，我尝试使用dask。它帮助我合并了所有文件，但生成了部分文件。如下图所示。

但是我需要一个完整的csv文件pickle_to_audiodf.csv

我写了一个简单的代码。

import os,glob
import pandas as pd
import dask
import dask.dataframe as dask_frame
from dask.distributed import Client,LocalCluster

csv1 = 'Preprocessing_Info/Prepro/pickle_to_audiodf_1.csv'
csv2 = 'Preprocessing_Info/Prepro/pickle_to_audiodf_2.csv'
csv3 = 'Preprocessing_Info/Prepro/pickle_to_audiodf_3.csv'
csv4 = 'Preprocessing_Info/Prepro/pickle_to_audiodf_4.csv'
csv5 = 'Preprocessing_Info/Prepro/pickle_to_audiodf_5.csv'

df1 = dask_frame.read_csv(csv1)
df2 = dask_frame.read_csv(csv2)
df3 = dask_frame.read_csv(csv3)
df4 = dask_frame.read_csv(csv4)
df5 = dask_frame.read_csv(csv5)

result = dask_frame.concat([df1,df2,df3,df4,df5],ignore_index = True)

result.to_csv('Preprocessing_Info/Prepro/pickle_to_audiodf.csv')

请帮助我解决此问题。还有如何读取这些000.part文件。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）