我是独立的火花集群，我们可以使用 map reduce compress 相关属性吗？如果使用这些属性真的有效吗？

问题描述

我是独立的 Spark 集群，我们可以使用 map reduce compress 相关属性吗？如果使用这些属性真的有效吗？我的意思是在独立环境映射减少相关的压缩相关真的有效吗？

config.setProperty("mapreduce.map.output.compress","true");
        config.setProperty("mapreduce.map.output.compress.codec","snappy");

        config.setProperty("mapreduce.output.fileoutputformat.compress","true");
        config.setProperty("mapreduce.output.fileoutputformat.compress.codec","snappy");
        config.setProperty("mapreduce.output.fileoutputformat.compress.type","org.apache.hadoop.fs.s3a.commit.S3ACommitterFactory");

解决方法

压缩属性与集群属性无关。您可以使用任何压缩类型。

如果您要将其写入 S3，last 属性也可以使用，但如果您在本地/hdfs 存储中使用它，它将无效。