Python拆分csv文件怎么做?Python如何拆分csv文件

csv文件是一种用来保存一定格式数据的字符分隔文件类型,而有些时候当csv文件太大时就需要将其拆分才方便保存以及读写操作。下面文章所要介绍的内容就是python快速拆分csv文件的详细代码教程,对此感兴趣的话可以往下看看学习一下。

1.那么首先需要将pandas这个第三方库导入进来,没有的话在命令行通过pip工具将其下载安装好。然后调用该第三方库的read_csv()方法将需要拆分的csv文件读取进来,这个方法执行时如果文件过大可能会需要一段较长的时间。

然后再通过len()方法获取这个文件总行数,读取完成之后它就会保存在Dataframe这个数据类型的对象之中。之后定义变量并赋值整数,它决定了拆分后每个文件所保存的数据量,代码如下所示:

import pandas as pd
df = pd.read_csv("../super_big.csv")
row_num = len(df)
step = 400

2.第二步则是创建for循环迭代结果,而遍历的是range()函数生成的可迭代对象。而该函数内传入的参数依次是0、csv文件总行数以及小文件数据量,这样就可以在每次迭代之后去给文件命名了。

而循环之中先使用本次迭代变量加上每个文件的数据量,那么此时得到的就是这一次所拆分的数据,再使用这两个值来给拆分后的文件命名。用df[]切片语法获取指定行数据,最后调用to_csv()方法将其给保存起来就行,代码示例如下所示:

for start in range(0, row_num, step):
    stop = start + step
    filename = "./small_{}-{}.csv".format(start, stop)
    d = df[start: stop]
    d.to_csv(filename, index=None)

以上就是关于“Python拆分csv文件怎么做?Python如何拆分csv文件”的全部内容了,希望对你有所帮助。

相关文章

功能概要:(目前已实现功能)公共展示部分:1.网站首页展示...
大体上把Python中的数据类型分为如下几类: Number(数字) ...
开发之前第一步,就是构造整个的项目结构。这就好比作一幅画...
源码编译方式安装Apache首先下载Apache源码压缩包,地址为ht...
前面说完了此项目的创建及数据模型设计的过程。如果未看过,...
python中常用的写爬虫的库有urllib2、requests,对于大多数比...