在python中拆分大数据文件

问题描述

我用python将一个大数组输出到一个文本文件中。然后我在excel中读取它以绘制数据。 目前，我正在编写的文件太大，无法在 excel 中读取。

我使用文件打开和关闭函数并将数据写入数组（请参阅代码）：

with open("abc.txt","w") as file:
    file.write(str(abc_value))
    file.close()

问题：如何拆分数据文件，以便在 1000000 步（大约）后，文件关闭并开始写入另一个文件。

最后应该有多个数据文件，我可以分别在excel中读取。

非常感谢任何线索！

解决方法

我不确定最初的 type(abc_value) 是什么，但是如果您可以以数组的形式提交此代码应该可以工作：

counter = 1
for i in range(0,len(abc_value),1000000):
    with open(f"abc{counter}.txt","w") as file:
        for val in abc_value[i:i + 1000000]:
            file.write(str(val))
        file.close()
        counter += 1

主要思想只是拆分原始数据，然后在 for 循环中创建和打开不同的文件。

输出文件应该是"abc1.txt","abc2.txt",...

希望我正确理解了您的问题并且这能回答它。