Apache Falcon Hadoop 数据管理平台

程序名称:Apache Falcon

授权协议: Apache

操作系统: 跨平台

开发语言: Java

Apache Falcon 介绍

Apache Falcon 提供了一个用于治理和编排 Hadoop
内部和周边数据流的数据处理框架。该框架为获取和处理数据集、复制与保留数据集、重新定向位于非Hadoop扩展中的数据集、维护审核跟踪与沿袭提供了关键性的管控框架。Knox拓展了Hadoop的安全边界,实现了与LDAP、用于证书管理的活动目录等框架进行了充分整合,为跨Hadoop和所有相关项目的授权提供了一个通用服务。

整体架构:

Feed Schedule flow

Process Schedule flow

Apache Falcon 官网

http://falcon.apache.org/

相关编程语言

RedHadoop 是一个持续优化的企业级Hadoop基础软件平...
来自 Mozilla 的 Heka 是一个用来收集和整理来自多个...
HBase – Hadoop Database,是一个高可靠性、高性能...
Mincemeat-node 是使用Node.js实现的极简MapReduce框...
REEF 是微软开发的一个大数据框架。 REEF运行在YARN...
Scribe旨在帮助Facebook处理服务器上的大量数据,正...