Hadoop概述
1. Hadoop概述
- 创始人Doug Cutting, Hadoop名字源于他孩子给玩具大象起的名字。
- 具有reliable、 scalable、 distributed computing的特点。
- 是一个利用机器集群来分布式处理大数据的框架,集群中的每个机器都能提供存储和计算能力,对于单个机器的可靠性要求低。
2. Hadoop核心组件
- Hadoop Common:支持Hadoop其它组件的通用工具。
- Hadoop distributed File System (HDFS): 提供高吞吐量(throughout)(每秒数据传输总量),实现将文件分布式存储在很多服务器上。
- Hadoop YARN:集群上进行作业调度和资源管理框架。
- Hadoop MapReduce:基于YARN的并行计算框架,实现在很多机器上进行分布式计算。