Hypertable是一个开源、高性能、可伸缩的数据库,它采用与Google的Bigtable相似的模型。在过去数年中,Google为在PC集群
Geolog: Download Information from Geocaching Databases and create Website
ProActive Parallel Suite 是一个开源的用于并行处理、分布式和多核计算的中间件。
ICE(Internet Communications Engine)是ZeroC提
供的一款高性能的中间件,基于ICE可以实现电信级的解决方案。前面我们提到过在设计网站架构的时候可以使用ICE实现对网站应用的基础对象操作,将基础
Infinispan
是个开源的数据网格平台。它公开了一个简单的数据结构(一个Cache)来存储对象。虽然可以在本地模式下运行Infinspan,但其真正的价值在于分布
GridGain是一个开源的网格计算框架,专著于提供平行计算能力,能够与JBoss和Spring相集成。
Fura是一个独立的网格中间件,使网格授权和分配的应用异构计算资源。它采用了基于Web的图形用户界面,安装向导和配置,以及遵守了Web服务。 ****
OpenRDS 是一个Java的集群框架,使得基于分布式系统的应用易于开发和管理。
Dapper 全称是 Distributed and Parallel Program Execution Runtime
是一个开发大规模的云计算和网格计算的工具,用于创建分布式的计算单元的软件。
Hadoop
是一个分布式系统基础架构,由Apache基金会开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop
Cougaar是一个多Agent的运行支撑环境,它提供了完备可靠的通信、日志等基础服务。
Nodezilla是一个安全,分散和容错的路由系统(或网格网络),支持分布式服务,如文件共享,聊天,高效率的视频多播流,并能进行文件存储。
Pig是一个基于Hadoop的大规模数据分析平台,它提供的SQL-LIKE语言叫Pig
Latin,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算。Pig为复杂的海量数据并行计算提供了一个简单的操作
XtreemFS 是一个为互联网存储系统设计的分布式文件系统. 它允许你从任何地方安装一个 XtreemFS 卷,并提供权限管理,支持 POSIX ACLs
Grid Engine是Sun发起 的网格计算项目,为从集群到网格的计算环境提供了分布式的资源管理平台,以实现分布式网格计算的基础设施。在Grid
OpenAFS是一套开放源代码的分布式文件系统,允许系统之间通过局域和广域网来分享档案和资源。
libGlass
提供了一组可伸缩的组件用来执行分布式计算。应用程序在需要的情况下被当作是可重用的组件。该框架适合新的应用程序,同时对一些老应用也同样可用,而无需去改写。
JavaSpaces技术是进行分布式计算的一种简单机制,在分布式计算应用程序中,JavaSpaces
XtreemOS 项目是一个基于 Linux 系统实现的网格操作系统,内嵌对虚拟组织的支持,可运行在多个底层平台中,包括集群以及移动计算,基于Mandriva Linux。
Cobar
Client是一个轻量级分布式数据访问层(DAL)基于iBatis(已更名为MyBatis)和Spring框架实现。
Cloudera 的定位在于 Bringing Big Data to the Enterprise with Hadoop
Cloudera为了让Hadoop的配置标准化,可以帮助企业安装,配置,运行hadoop以达到大规模企业数据的处理和分析。
Sqoop是一个用来将Hadoop和关系型数据库中的数据相互转移的工具,可以将一个关系型数据库(例如
Addjob 可以让你通过网络来发布各种作业,通过运行 addjob-server ,然后可以使用 addjob gcc -c foo.c
Apache River 是一个分布式计算的架构,基于原 Sun 的 JSK Starter Kit 源码,主要使用 Jini 规范。
Shuttler.Net是一个高性能分布式框架,如果你在使用老去的remoting,webservices分布式架构,或在使用新生的wcf,那么你也可以尝试下Shuttler.Net。
BOINC 是 Berkeley Open Infrastructure for Network Computing 的首字母缩写,即伯克利开放式网络计算平台 ,是用于志愿计算和网格计算的开放的中间件系统。
Dubbo 是阿里巴巴公司开源的一个高性能优秀的服务框架,使得应用可通过高性能的 RPC 实现服务的输出和输入功能,可以和Spring 框架无缝集成。
Gfarm 是一个分布式的文件系统,主要用于大规模的集群计算。It’s implemented in userland, and can be
OpenSAF 项目是一个开放源码项目,旨在开发符合 Service Availability Forum(TM) (SA Forum(TM))
JCGrid是一个易于使用的网格计算工具。它仅需要安装Java运行时。它不需要任何特定的操作系统的安装
MediaEncodingCluster
是一个企业级的多媒体处理集群环境,提供一个平台独立的客户端服务器架构,用来分布式的处理音频和视频的转换、编码,基于网格运算环境运行。
SmartFrog 是一个功能强大而且灵活的用于配置发布和管理分布式软件系统的 Java 平台。
MapReduce是Google提出的一个软件架构,用于大规模数据集(大于1TB)的并行运算。概念”Map(映射)”和”Reduce(化简)”,和他们的主要思想,都是从函数式编程语言借来的,还有从矢量编程语言借来的特性。
Scalr is open source software that scales web infrastructure.
安装方法:http://wiki.scalr.net/Installation
Corona是Map-
Reduce的改进版本,可以更好地利用集群资源,更适合Facebook的“多租户(Multi-
BitHorde 是一个采用D语言开发的快速轻量级的内容分发系统,旨在提供高性能的去中央化的内容分发方案。主要特点是高性能、轻量级、及时分发等。适用于内容分发网络、包括高清流媒体、离线文件系统、文件共享等。