删除表不会释放 pytables 中的磁盘空间

编程问答 2022-05-01

问题描述

我在 pytables 中创建了一个表，如下所示：

import tables as tb
import random
import time
h5f = tb.open_file('enum.h5','w')
class BallExt(tb.IsDescription): 
    ballTime = tb.Time32Col() 
    ballColor = tb.Int64Col()
tbl = h5f.create_table('/','df',BallExt)
Now = time.time()
row = tbl.row
for i in range(10000): 
    row['ballTime'] = Now + i 
    row['ballColor'] = int(random.choice([1,2,3,4,5]))  # take note of this 
    row.append()
tbl.flush()
h5f.close()

此数据库在磁盘中的文件大小显示为 133KB。

现在，当我尝试删除表时，一切都按预期工作（最终文件大小约为 1KB）。

h5f = tb.open_file('enum.h5','a')
tbl = h5f.root.df
tbl.remove()
h5f.flush()
h5f.close()

但是，如果我将此表的一部分复制到新表并删除原始表，文件大小似乎增加（至 263KB）。看起来只有一些引用被删除了，数据仍然存在于磁盘中。

h5f = tb.open_file('enum.h5','a')
tbl = h5f.root.df
new_tbl = h5f.create_table('/','df2',BallExt)
tbl.append_where(new_tbl,'(ballColor >= 3)')
tbl.remove()
h5f.flush()
h5f.close()

这是预期的吗？如果是这样，有没有办法删除tbl并释放表占用的磁盘空间？ （我正在使用 pytables==3.6.1）

解决方法

是的，这种行为是意料之中的。查看此答案以查看相同行为的更详细示例：How does HDF handle the space freed by deleted datasets without repacking。请注意，如果您添加新数据集，空间将被回收/重用。

要回收文件中未使用的空间，您必须使用命令行实用程序。有 2 个选择：Bar 和 ptrepack：两者都用于许多外部文件操作。要在删除对象后减小文件大小，请从旧文件创建一个新文件，如下所示：

  • h5repack 实用程序随 PyTables 一起提供。
  • ptrepack file1.h5 file2.h5 实用程序来自 The HDF Group。
    • 此处参考：HDF5 h5repack doc
    • 示例：h5repack（从 file1.h5 创建 file2.h5）

在创建新文件时，两者都可以选择使用不同的压缩方法，因此如果您想从压缩转换为未压缩（反之亦然），这也很方便

hdf5pytables