在 Julia 中使用 Arrow.jl 进行数据压缩

问题描述

我尝试使用 Arrow.jl 压缩数据。但是，使用以下代码的测试运行没有显示任何大小减少（或压缩）。我可以就我的实施寻求建议吗，比如我做错了什么？ 代码：

using CSV,DataFrames,Arrow
df = CSV.read("input_data.csv",DataFrame)
function compress_data(data::DataFrame)
    io = Arrow.tobuffer(data)
    d = Arrow.Table(io; convert=false)
    Arrow.write("output_data.lz4",d; compress=:lz4)
end
compress_data(df)

期待建议。谢谢！

解决方法

代码看起来不错，使用全零值的输入 CSV 对其进行测试，压缩率很高。

我怀疑这里的情况是使用浮点数，这里有两个潜在的棘手问题需要记住

1. 在浮点数在小范围内的情况下，例如0. < x < 1.，我们可能会期待压缩的潜力，但我们可能会感到失望，因为浮点数的字节模式不适用于常见的压缩技术。
2. Float64 的文本表示可能会截断小数，并且每个值存储的字节数远少于 8 个字节，因此在保存二进制表示时实际上可以增加保存。

浮点数的压缩技术确实存在，例如Blosc，但除非您的数据很幸运，否则结果可能会令人失望。有损压缩技术可以实现高压缩率，例如zfp。您可以在 SO 上找到有关该主题的更多信息： Compressing floating point data