如何防止 Kaggle TFRecord 文件中的记录损坏？

问题描述

我正在尝试将平铺图像写入 kaggle/working/...，但是当我尝试重新读取第一条记录以确认写入有效时，我添加了代码

    # Read back one record to confirm:
    raw_dataset = tf.data.TFRecordDataset( output_path )
    print( "raw_dataset",raw_dataset,file = sys.stderr )

    for raw_record in raw_dataset.take(1):
        example = tf.train.Example()
        example.ParseFromString(raw_record.numpy())
        print("Reading back raw_record from",output_path,example)

但是，我不断收到错误：

---> 70         for raw_record in raw_dataset.take(1):
     71             example = tf.train.Example()
     72             example.ParseFromString(raw_record.numpy())
     ...
DataLossError: corrupted record at 0

我尝试了几种变体，都给出了相同的结果。帮助！

解决方法

我发现了问题。编写 TFRecords 的程序指定编写器 GZIP 其输出，但读者不知道这一点。通过在创建阅读器时进行以下更改

raw_dataset = tf.data.TFRecordDataset( output_path,compression_type = 'GZIP' )

我现在可以读取记录了。