将具有2张纸或csv的大型xlsx读入数据框

问题描述

我有一个xlsx文件，具有11列，1500万行和198Mb的大小。熊猫永远需要阅读和工作。阅读了Stackoverflow answers之后，我切换到了dask和modin。但是，我在使用dask时收到以下错误：

df = dd.read_csv('15Lacs.csv',encoding= 'unicode_escape') 

c error :out of memory。

使用modin['ray']时出现以下错误：

UnicodeDecodeError: 'utf-8' codec can't decode byte 0xa0 in position 112514: invalid start byte

在一般的硬件上，是否有更有效的方法将大型xlsx或csv文件导入python？

解决方法

如果您不熟悉，

df = dd.read_csv('15Lacs.csv',encoding= 'unicode_escape',blocksize="8MB")

如果你在熊猫里，

for batch in pd.read_csv('15Lacs.csv',chunksize=1000):
    process(batch)

我猜您正在通过加载此文件以及大量其他东西并运行Windows来填补内存不足？