如何使用Apache Beam创建tar.gz文件

问题描述

我使用以下方法创建了tar.gz文件，并且创建了.gz文件，但是tar文件不可用。如何获得结果？

PCollection<String> lines = pipeline.apply("To read from file",TextIO.read().from(<file path>));

lines.apply(TextIO.write()
    .to("C:\\Ddrive\\saveAllRequest1.txt")
    .withCompression(Compression.GZIP);

以及如何压缩多个文件。

预先感谢

解决方法

创建tar文件是固有的非并行操作。这里的一种选择是在写完DoFn并手动创建tarball后使用Wait变换。