从“减少输入记录”到“减少输入组”

问题描述

|| 运行MapRed作业后,我们将获得有关该作业的一些摘要,例如:
...
reduce input records: 10
reduce input groups: 3
...
我知道这是由重复的组合键引起的。我的问题是reducer用来合并记录的方法是什么? key1.equals(key2)或key1.hashCode == key2.hashCode? 谢谢。     

解决方法

        由于关键字必须实现WritableComparable,因此仅compareTo。 partition1 reasons用于分区。等于将永远不会被使用。     ,        减速器通常不合并记录。对于从映射器发出的每个键(不必并行)执行一个化简器。 减少输入组是输入到 减速器。减少输入记录是值的数量。每个键都有 与它关联的一个或多个值进入减速器。     

相关问答

错误1:Request method ‘DELETE‘ not supported 错误还原:...
错误1:启动docker镜像时报错:Error response from daemon:...
错误1:private field ‘xxx‘ is never assigned 按Alt...
报错如下,通过源不能下载,最后警告pip需升级版本 Requirem...