将 avro 文件压缩为 gzip (.gz) 压缩

问题描述

我是 avro 和 .gzip 文件的新手。我正在尝试压缩 avro 文件，以加快从 Google Cloud Storage 到 BigQuery 的文件加载时间。我已经尝试谷歌搜索，但我没有得到答案。请帮助我了解如何将 avro 文件压缩为 gzip (.gz) 压缩。

解决方法

Avro 格式不能与 GZIP 压缩结合使用。要压缩 Avro 数据，请使用 bq 命令行工具或 API 并为 Avro 数据指定一种支持的压缩类型：DEFLATE 或 SNAPPY。

参考：

https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro

,

您无法压缩 AVRO 格式，因为它是一种二进制且已经压缩/优化的格式。找到压缩它的方法是没有用的。按原样使用。