如何解压缩存储在 zstd 压缩的 HDF5 文件中的数据？

问题描述

我在 zstd 情况下遇到了一些解压问题。我有 hdf5 格式的文件，压缩方式如下：

import h5py as h5
import hdf5plugin
import sys
import os
filefrom = sys.argv[1] 
h5path  = sys.argv[2]
f = h5.File(filefrom,'r')
data = f[h5path]
shape_data = data.shape[1:]
num = data.shape[0]
initShape = (1,) + shape_data
maxShape = (num,) + shape_data
f_zstd = h5.File(filefrom.split('.')[0]+'_zstd.h5','w')
d_zstd = f_zstd.create_dataset(path_to_data,initShape,maxshape=maxShape,dtype=np.int32,chunks=initShape,**hdf5plugin.Zstd())
d_zstd[0,] = data[0,]
for i in range(num):
    d_zstd.resize((i+1,) + shape_data)
    d_zstd[i,] = data[i,]
f_zstd.close()
f.close()
    

所以它压缩没有任何错误，但是当我尝试使用 h5ls 或 h5dump 查看数据时，它打印出无法打印数据，并且没有其他查看方式在文件内部，如使用 h5py 在 python3 (3.6) 中读取此压缩数据是不成功的。我还尝试了 h5repack (h5repack -i compressed_file.h5 -o out_file.h5 --filter=var:NONE) 或以下代码：

import zstandard
import pathlib
import os

def decompress_zstandard_to_folder(input_file):
    input_file = pathlib.Path(input_file)
    destination_dir = os.path.dirname(input_file)
    with open(input_file,'rb') as compressed:
        decomp = zstandard.ZstdDecompressor()
        output_path = pathlib.Path(destination_dir) / input_file.stem
        with open(output_path,'wb') as destination:
            decomp.copy_stream(compressed,destination)

没有成功。在 h5repack 的情况下没有出现警告或错误，最后一段代码我得到了这个 zstd.ZstdError: zstd decompressor error: UnkNown frame descriptor，所以我得到这意味着压缩数据没有适当的标题。

我使用 python 3.6.7、hdf5 1.10.5。所以我有点困惑，不知道如何克服这个问题。

乐于接受任何想法/建议！

解决方法

我编写了一个简单的测试，用一个简单的数据集（int32 的 NumPy 数组）来验证 zstd 压缩行为。我可以用 h5py 打开 HDF5 文件并读取数据集。 （注意：我无法用 HDFView 打开，h5repack 只报告形状和类型属性，而不是数据。）

我怀疑您代码的另一部分存在未检测到的错误。您是否在没有 zstd 压缩的情况下测试了您的代码逻辑？如果没有，我建议你从那里开始。

编写示例文件的代码：

import h5py as h5
import hdf5plugin
import numpy as np

data = np.arange(1_000).reshape(100,10)

with h5.File('test_zstd.h5','w') as f_zstd:
    d_zstd = f_zstd.create_dataset('zstd_data',data=data,**hdf5plugin.Zstd())

读取示例文件的代码：

import h5py as h5
import hdf5plugin  ## Note: plugin required to read

with h5.File('test_zstd.h5','r') as f_zstd:
    d_zstd = f_zstd['zstd_data']
    print(d_zstd.shape,d_zstd.dtype)
    print(d_zstd[0,:])
    print(d_zstd[-1,:])

上面的输出：

(100,10) int32
[0 1 2 3 4 5 6 7 8 9]
[990 991 992 993 994 995 996 997 998 999]

有关 HDF5 和压缩的更多信息：
要使用 HDF5 实用程序（如 h5repack）读取压缩文件，HDF5 安装需要适当的压缩过滤器。有些是标准的，许多（包括 xstandard）需要您安装第三方过滤器。可用插件的链接在这里：HDF5 Registered Filter Plugins

您可以通过添加 -pH 标志来使用 h5dump 验证压缩过滤器，如下所示：

E:\SO_68526704>h5dump -pH test_zstd.h5
HDF5 "test_zstd.h5" {
GROUP "/" {
   DATASET "zstd_data" {
      DATATYPE  H5T_STD_I32LE
      DATASPACE  SIMPLE { ( 100,10 ) / ( 100,10 ) }
      STORAGE_LAYOUT {
         CHUNKED ( 100,10 )
         SIZE 1905 (2.100:1 COMPRESSION)
      }
      FILTERS {
         USER_DEFINED_FILTER {
            FILTER_ID 32015
            COMMENT Zstandard compression: http://www.zstd.net
         }
      }
      FILLVALUE {
         FILL_TIME H5D_FILL_TIME_ALLOC
         VALUE  H5D_FILL_VALUE_DEFAULT
      }
      ALLOCATION_TIME {
         H5D_ALLOC_TIME_INCR
      }
   }
}
}