如何仅将非空减速器的输出保存在HDFS中

问题描述

| 在我的应用程序中，reducer将所有零件文件保存在HDFS中，但是我只希望reducer写入大小不为0bytes的零件文件。请让我知道如何定义它。     

解决方法

可能-请参见\“惰性输出\”上的文档部分： http://hadoop.apache.org/mapreduce/docs/current/mapred_tutorial.html#Lazy+Output+Creation

import org.apache.hadoop.mapreduce.lib.output.LazyOutputFormat;
LazyOutputFormat.setOutputFormatClass(job,TextOutputFormat.class); 

    ,如果您使用的是旧版API，则可以使用

NullOutputFormat

类：

import org.apache.hadoop.mapred.lib.NullOutputFormat;
conf.setOutputFormat(NullOutputFormat.class);