输入格式负责在Hadoop的MapReduce中实现数据局部性吗？

问题描述

| 我试图了解与Hadoop的Map / Reduce框架相关的数据局部性。特别是我试图了解哪个组件处理数据局部性（即它是输入格式吗？） Yahoo的开发人员网络页面指出：“然后Hadoop框架使用来自分布式文件系统的知识，将这些过程安排在数据/记录的位置附近。”这似乎暗示着HDFS输入格式可能会查询名称节点，以确定哪些节点包含所需的数据，并在可能的情况下在这些节点上启动地图任务。可以想象通过查询以确定哪些区域正在为某些记录提供服务，HBase可以采用类似的方法。 如果开发人员编写自己的输入格式，他们将负责实现数据局部性吗？     

解决方法

你是对的。如果您正在查看

FileInputFormat

类和

getSplits()

方法。它搜索Blocklocations：

BlockLocation[] blkLocations = fs.getFileBlockLocations(file,length);

这意味着文件系统查询。这种情况发生在“ 3”内部，结果被写入SequenceFile（实际上只是原始字节码）。 因此，Jobtracker稍后会在初始化作业时读取此文件，并且几乎只是将任务分配给输入拆分。 但是数据的分发是NameNodes作业。 现在对您的问题： 通常，您是从“ 0”开始扩展的。因此，您将被迫返回

InputSplit

的列表，并且在初始化步骤中，此类操作需要设置拆分的位置。例如

FileSplit

：

public FileSplit(Path file,long start,long length,String[] hosts)

因此，实际上您并没有实现数据局部性，您只是在告诉可以在哪个主机上找到拆分。可通过

FileSystem

界面轻松查询。     ,穆的理解是，数据局部性是由HDFS和InputFormat共同确定的。前者确定（通过机架感知）并存储跨数据节点的HDFS块的位置，而后者将确定哪些块与哪个拆分相关联。作业跟踪程序将通过确保与每个拆分相关联的块（1个拆分为1个映射任务映射）在任务跟踪程序本地，来尝试优化将哪些拆分传递到哪个映射任务。 不幸的是，这种保证局部性的方法保留在同质群集中，但在不均质的群集中会崩溃，即每个数据节点的硬盘大小不同。如果您想对此进行更深入的研究，则应该阅读本白皮书（通过在异构hadoop集群中放置数据来提高MapReduce性能），其中还涉及了与您的问题相关的多个主题。