问题描述
||
运行MapRed作业后,我们将获得有关该作业的一些摘要,例如:
...
reduce input records: 10
reduce input groups: 3
...
我知道这是由重复的组合键引起的。我的问题是reducer用来合并记录的方法是什么? key1.equals(key2)或key1.hashCode == key2.hashCode?
谢谢。
解决方法
由于关键字必须实现WritableComparable,因此仅compareTo。
partition1 reasons用于分区。等于将永远不会被使用。
, 减速器通常不合并记录。对于从映射器发出的每个键(不必并行)执行一个化简器。
减少输入组是输入到
减速器。减少输入记录是值的数量。每个键都有
与它关联的一个或多个值进入减速器。