如何通过pd.read_csv和块量化大型CSV文件的阅读进度？

编程问答 2022-08-10

问题描述

Analog / Example

假设我有一个列表：

test_list = [2,5,3,6]
number_of_elements = len(test_list)

然后enumerate可与number_of_elements配合使用，以跟踪循环的进度，如下所示：

for j,element in enumerate(test_list):
    do something
    print('completed {} out of {}'.format(j,number_of_elements))

问题

可以读取大的csv文件，如下所示（reference answer）：

chunksize = 10 ** 6
for chunk in pd.read_csv(filename,chunksize=chunksize):
    process(chunk)

如何跟踪此循环的进度？

尝试

file_chunks = pd.read_csv(file_name,chunksize=100000)
number_of_chunks = len(file_chunks)
for j,chunk in enumerate(pd.read_csv(file_name,chunksize=100000)):
    print(j,number_of_chunks)

以下是错误：

TypeError: object of type 'TextFileReader' has no len()

解决方法

您几乎拥有了它，唯一的问题是len没有简单的方法可以在读取文件之前知道文件的大小。

如果您这样做：

file_chunks = pd.read_csv(file_name,chunksize=100000)

for i,chunk in enumerate(file_chunks):
    print(i)

那行得通。

此外，这是Dask（一个模仿大型文件的大熊猫的python库）的好用例

chunkscsvcsvdataframepandaspython