Apache Beam 大数据批处理和流处理标准

程序名称:Apache Beam

授权协议: Apache

操作系统: 跨平台

开发语言: Java

Apache Beam 介绍

Apache Beam 是 Apache 软件基金会越来越多的数据流项目中最新增添的成员,是 Google 在2016年2月份贡献给 Apache
基金会的孵化项目。

这个项目的名称表明了设计:结合了批处理(Batch)模式和数据流(Stream)处理模式。它基于一种统一模式,用于定义和执行数据并行处理管道(pipeline),这些管理随带一套针对特定语言的SDK用于构建管道,以及针对特定运行时环境的Runner用于执行管道。

Apache Beam 的主要目标是统一批处理和流处理的编程范式,为无限,乱序,web-
scale的数据集处理提供简单灵活,功能丰富以及表达能力十分强大的SDK。Apache
Beam项目重点在于数据处理的编程范式和接口定义,并不涉及具体执行引擎的实现,Apache
Beam希望基于Beam开发的数据处理程序可以执行在任意的分布式计算引擎上。

Apache Beam 官网

https://github.com/apache/beam

相关编程语言

RedHadoop 是一个持续优化的企业级Hadoop基础软件平...
来自 Mozilla 的 Heka 是一个用来收集和整理来自多个...
HBase – Hadoop Database,是一个高可靠性、高性能...
Mincemeat-node 是使用Node.js实现的极简MapReduce框...
REEF 是微软开发的一个大数据框架。 REEF运行在YARN...
Scribe旨在帮助Facebook处理服务器上的大量数据,正...