RedHadoop 是一个持续优化的企业级Hadoop基础软件平台,让Hadoop大数据更简单! RedHadoop大数据工场企业版是RedHadoop公司第一款产品，简称BWE(RedHadoop BigData Works

来自 Mozilla 的 Heka 是一个用来收集和整理来自多个不同源的数据的工具，通过对数据进行收集和整理后发送结果报告到不同的目标用于进一步分析。

HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC

Mincemeat-node 是使用Node.js实现的极简MapReduce框架，可以快速的部署投入工作，免去Hadoop繁琐的配置，享受随心大数据。

REEF 是微软开发的一个大数据框架。 REEF运行在YARN的上层。YARN是新一代Hadoop资源管理器，通过YARN，用户可以运行和管理同一个物理集群机上的多种作业，例如MapReduce批处理和图形处理作业。这样不仅可以巩固一个

Scribe旨在帮助Facebook处理服务器上的大量数据，正像Scribe网页所述“如经常访问Facebook，请使用Scribe。”具体而言，Scribe就是一台服务器，实时收集用网站日志信息。

HTools是一款专业的Hadoop管理工具，不管您是非专业IT人士，还是多年经验的技术人员，本工具都会为您提供优质的管理服务和轻松的操作过程，

hive让大数据飞了起来，不再需要专人写MR。平常我们都可以用基于thrift的任意语言来调用hive。

MapReduce是Google提出的一个软件架构，用于大规模数据集（大于1TB）的并行运算。概念”Map（映射）”和”Reduce（化简）”，和他们的主要思想，都是从函数式编程语言借来的，还有从矢量编程语言借来的特性。

Netflix 开源了一个叫做Suro的工具，它能够在数据被发送到不同的数据平台（如Hadoop、Elasticsearch）之前，收集不同应用服务器上的事件数据，这项创新技术具备成为大数据主流实践的潜力

Apache Kylin 是一个开源的分布式的 OLAP 分析引擎，来自 eBay 公司开发，基于 Hadoop 提供 SQL 接口和 OLAP 接口，支持

Hadoop 是一个分布式系统基础架构，由Apache基金会开发。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统（Hadoop

Themis 是小米公司开发的，为 HBase 提供了跨行/跨表的事务处理，基于 Google 的 percolator.

腾讯分布式数据仓库项目，在Hadoop和hive的基础上开发的腾讯内部最大的离线数据处理平台。TDW支持Oracle功能兼容的SQL语法，支持PB级的存储和TB级的计算等。

Spring XD 是一个统一的，分布式，可扩展的系统用于数据摄取，实时分析，批量处理和数据导出。该项目的目标是简化大数据应用的开发。

HP Vertica 基于列存储，相比传统面向行存储的数据库具有巨大的优势。同时 Vertica 支持 MPP（massively parallel

S3mper 是通过一致的，二级索引对亚马逊 S3 索引做额外的一致性检查。 S3mper 利用面向方面编程和AspectJ 实现来引导Hadoop 文件系统实现（主要是实现

Crate Data 是一个开源的大规模的可伸缩的数据存储系统，无需任何系统管理需求。提供强大的搜索功能。用于存储各种表格数据、非结构化数据和二进制对象。并可通过 SQL

Presto是Facebook最新研发的数据查询引擎，可对250PB以上的数据进行快速地交互式分析。据称该引擎的性能是Hive 的 10 倍以上。

YARN是新一代Hadoop资源管理器，通过YARN，用户可以运行和管理同一个物理集群机上的多种作业，例如MapReduce批处理和图形处理作业。这样不仅可以巩固一个组织管理的系统数目，而且可以对相同的数据进行不同类型的数

Tajo 是一个分布式数据仓库系统，基于 Hadoop 实现，特点是低延迟、高可伸缩，提供专用查询和 ETL 工具

WDT 是一个嵌入式函数库（ embeddedable library），也是命令行工具，旨在尽可能快速地用多个 TCP 路径在

WhereHows 是 LinkedIn 公司一个用于大数据发现和管理的工具，集成了所有主要的数据处理系统，可以进行分类收集和元数据操作。方便内部员工发现公司内部的数据，跟踪数据集的移动和查看各种内部工具和服务的动向。

Luigi 是一个 Python 模块，可以帮你构建复杂的批量作业管道。处理依赖决议、工作流管理、可视化展示等等，内建 Hadoop 支持。

Wormhole 是大众点评的大数据传输工具，目前支持类似 hdfs,hive,hbase,mysql,greenplum, sqlserver,mongodb, sftp, salesforce 的数据源和目标。

JBoss Data Virtualization（JDV）是数据集成解决方案，在有多个数据资源的时候，把他们作为单个数据资源对待，在规定的格式传递正确的数据，在正确的时间传递给任意的应用或者用户。

BreakoutDetection（Breakout Detection）是 Twitter 的开源的，可以便捷和快速检测 Breakout 的 R 包。

OpenSOC：安全大数据分析框架。OpenSOC已经加入Apache工程改名为Apache Metron。 思科在 BroCON 大会上亮相了其安全大数据分析架构 OpenSOC，引起了广泛关注。OpenSOC

Inviso 是轻量级的工具，提供搜索 Hadoop 作业，可视化性能和查看集群利用率的功能。

一套开源的服务器集群分布式大数据高并发的快速开发框架，使用mongodb内存数据库，二级缓存技术。

StreamCQL作为华为FusionInsight产品的重要组件，提供了在分布式流处理平台上的类SQL查询能力，包括窗口计算等高级特性，在开源之前已经在电信、金融等多个行业成功应用，简化开发工作量数倍。此次StreamCQL的开源

让天下没有难做的大数据模型！ 功能 下面是弥勒佛框架解决的问题类型，括号中的斜体代表尚未实现以及预计实现的时间

Apache® CarbonData™是由华为开源贡献的大数据高效存储格式解决方案。针对当前大数据领域分析场景需求各异而导致的存储冗余问题，CarbonData提供了一种新的融合数据存储方案，以一份数据同时支持“交互式分析、详

Apache AsterixDB 是开源的大数据管理系统 (BDMS)，可以在一个集群中大规模存储，索引，管理和查询语义结构的数据。Hyracks

华为2015年7月20日在O’Reilly Open Source Convention (OSCON) 上宣布Spark SQL on HBase package正式开源。Spark SQL on HBase package 项目又名 Astro，端到端整合了Spark，Spark

Apache MADlib 是为数据科学提供的 SQL 大数据机器学习工具。Apache MADlib 拥有强大的大数据分析能力。Apache MADlib