我使用LZO来压缩减少输出.我试过这个:
Hadoop-LZO project of Kevin Weil,然后用我的工作LzoCodec类:
textoutputFormat.setoutputCompressorClass(job,LzoCodec.class);
现在压缩工作正常.
我的问题是压缩结果是一个.lzo_deflate文件,我无法解压缩.
Lzop utility似乎不支持该类型的文件.
LzopCodec应该提供一个.lzo文件,但它不起作用,但是它与LzoCodec(org.apache.hadoop.io.compress)在同一个包中可能会引用兼容性问题,因为我使用了旧的API( 0.19)使压缩工作.
这个question的答案提出了Python解决方案,但是我需要用Java.
我正在使用Hadoop 1.1.2和Java 6.