c – 放在二进制数据文件头文件中

我有一个模拟读取我们创建的大型二进制数据文件(10到100的GB).我们以速度为由使用二进制.这些文件是系统依赖的,从我们运行的每个系统上的文本文件转换,所以我不关心可移植性.目前这些文件是用fwrite编写的POD结构体的许多实例.

我需要更改结构体,所以我想添加一个文件版本号的头,随着结构的改变,它将被增加.由于我这样做,我想添加一些其他信息.我正在考虑结构体的大小,字节顺序,也可能是创建二进制文件的代码的svn版本号.还有什么其他有用的可以添加吗？

解决方法

根据我的经验,第二次猜测你需要的数据总是浪费时间.重要的是以可扩展的方式构建元数据.对于 XML 文件,这是直截了当的,但二进制文件需要更多的思考.

我倾向于将元数据存储在文件结尾的结构中,而不是开始.这有两个优点：

>截断/未终止的文件是
容易检测.
>元数据页脚往往可以
附加到现有文件没有
影响他们的阅读代码.

我使用的最简单的元数据页脚看起来像这样：

struct MetadataFooter{
  char[40] creatorVersion;
  char[40] creatorApplication;
  .. or whatever
} 

struct FileFooter
{
  int64 MetadataFooterSize;  // = sizeof(MetadataFooter)
  char[10] magicString;   // a unique identifier for the format: maybe "MYFILEFMT"
};

在原始数据之后,元数据页脚和THEN文件页脚都被写入.

当读取文件时,寻求endofof(FileFooter).阅读页脚,并验证magicString.然后,根据MetadataFooterSize查找并读取元数据.根据文件中包含的页脚大小,可以为缺少的字段使用默认值.

正如KeithB指出的,您甚至可以使用这种技术将元数据作为XML字符串存储,从而提供完全可扩展的元数据的优点,具有二进制数据的紧凑性和速度.

c – 放在二进制数据文件头文件中

解决方法

相关文章