您可以从多个文件中插入tf.data数据集吗？

问题描述

我目前有一个数据集，该数据集分为三种不同的npy文件类型：一种包含所有x的浮点型变量，一种包含所有x的整型变量，另一种包含所有的y标签。

要遍历所有文件，我像这样用生成器创建了tf.data数据集

def tf_data_generator(filelist_float,filelist_int,filelist_y,batch_size=4096):
    i=0
    while True:
        if i == len(filelist_y):
            i = 0
            indicies = np.arange(len(filelist_float))
            np.random.shuffle(indicies)
            filelist_float
        else:
            xf = np.load(filelist_float[i])
            xi = np.load(filelist_int[i])
            y = np.load(filelist_y[i])
            filefinish = False
            fileIndex = 0
            # In case files have different lengths
            fileEnd = np.min([xf.shape[0],xi.shape[0],y.shape[0]])
            while not filefinish:
                if fileIndex + batch_size >= fileEnd:
                    yield np.concatenate((xf[fileIndex:fileEnd],xi[fileIndex:fileEnd]),axis=1),y[fileIndex:fileEnd]
                    filefinish = True
                else:
                    yield np.concatenate((xf[fileIndex:fileIndex+batch_size],xi[fileIndex:fileIndex+batch_size]),y[fileIndex:fileIndex+batch_size]
                    fileIndex += batch_size
            i+=1

 training_generator = tf.data.Dataset.from_generator(tf_data_generator,args = training_files_dir,output_types = (tf.float16,tf.int16)) 

我的问题是，如果交错执行此过程是否会更快，如果可以，我可以使用这三个单独的文件来完成此操作，还是必须将它们全部附加到一个文件中？需要注意的一件事是，每个npy文件都可以加载到内存中，但是会有超过10,000个npy文件，因此我无法将所有文件都加载到内存中。

提前感谢任何想法！

解决方法

事实证明，是的，您绝对可以。如果有人好奇或被卡住，这是我的TF2

在 call 函数中，生成器仅接收X_float_input文件之一，并使用该文件查找相应的X_int_input和Y_input文件。

class generator:
    def __call__(self,file,batch_size): #X_float_input.npy
        actual_file = file.decode("utf-8") 
        xf = np.load(actual_file)
        xi = np.load(actual_file.replace("float","int"))
        y = np.load(actual_file.replace("X_float","Y"))

        filefinish = False
        fileIndex = 0
        # In case files have different lengths
        fileEnd = np.min([xf.shape[0],xi.shape[0],y.shape[0]])
        while not filefinish:
            if fileIndex + batch_size >= fileEnd:
                yield np.concatenate((xf[fileIndex:fileEnd],xi[fileIndex:fileEnd]),axis=1),y[fileIndex:fileEnd]
                filefinish = True
            else:
                yield np.concatenate((xf[fileIndex:fileIndex+batch_size],xi[fileIndex:fileIndex+batch_size]),y[fileIndex:fileIndex+batch_size]
                fileIndex += batch_size

# training_files_dir = ["X_float_input_1.npy","X_float_input_2.npy"]
training_generator = tf.data.Dataset.from_tensor_slices(training_files_dir)
training_generator = training_generator.interleave(lambda filename: tf.data.Dataset.from_generator(
            generator(),output_types=(tf.float16,tf.int16),args=(filename,BATCH_SIZE,)),num_parallel_calls=tf.data.experimental.AUTOTUNE).prefetch(tf.data.experimental.AUTOTUNE)
training_generator = training_generator.shuffle(10000,reshuffle_each_iteration=True).repeat(EPOCHS)#.prefetch(tf.data.experimental.AUTOTUNE).cache()

但是要注意的一件事是，您需要使用时期数来调用repeat函数，否则生成器将不会更新。