如何在Linux中拆分巨大的CSV文件？

我有60TB的数据驻留在12个csv文件中.

数据将加载到集群数据库中,其中加载过程是单线程的.为了提高我的负载性能,我需要从每个节点启动一个加载过程.

从这个角度来看,到目前为止一直很好.我最大的问题是如何分割这些数据？它是压缩的,每个csv文件有大约5TB的数据！我试过分裂,但需要太长时间！

解决方法

最简单但不是最快,最可能的方式是

unzip -p <zipfile> | split -C <size>