如何使用tf数据读取单个大的numpy成块文件?

问题描述

我有一个压缩的numpy文件(.npz),太大而无法容纳在内存中。我已经看到了从磁盘读取大型CSV文件的工作流程,因为它们不适合内存。下面的代码段中说明了一个示例。

dataset = tf.data.experimental.CsvDataset("dataset.csv",record_defaults)
dataset = dataset.shuffle(10000).repeat(2).batch(2)

但是,我找不到压缩的numpy版本来执行相同的操作。如何有效地使用tf.data读取此文件

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)