Corona Hadoop作业调度管理系统

程序名称:Corona

授权协议: 未知

操作系统: 跨平台

开发语言: Java

Corona 介绍

Corona是Map-
Reduce
的改进版本,可以更好地利用集群资源,更适合Facebook的“多租户(Multi-
Tenant)”环境。

在Facebook,Map-
Reduce有一个单一的作业跟踪器(JobTracker),用来管理集群资源和跟踪每个作业的状态。而使用Corona,集群资源通过一个中央集群管理器来跟踪,每个作业都有自己的跟踪器,这些跟踪器只需跟踪一个作业。

Corona在Map-Reduce的基础上进行了如下改进:

  • 可扩展性:单独的Corona JobTrackers来负责任务的跟踪,这为作业的数量和规模提供了更好的扩展性。
  • 延迟:任务调度工作在push模型中。Corona Job Tracker推送资源请求到Cluster Manager,然后在收到Cluster Manager的许可后,推送任务到Corona Task Tracker。这种调度决策是在收到heartbeats时发生,对于小的作业来说,heartbeat模型相关的延迟就变得重要。
  • 与Map-Reduce v1相比,Corona中的Fair Scheduler能更好地分配资源到资源池中。
  • 由于调度开销较低,集群可以得到更好的利用。

中文介绍内容来自 iteye

Corona 官网

https://github.com/facebook/hadoop-20/tree/master/src/contrib/corona

相关编程语言

memcached-session-manager 将session存储到memchac...
Tomcat Native 这个项目可以让 Tomcat 使用 Apache ...
EasyTomcat 是一个用来帮助简化 Tomcat 和MySQL 管理...
riak-session-manager 是使用 Riak 来存储Tomcat se...
tomcat-redis-session-manager 是一个用来将 Tomcat...
这是一款在 Oracle 的 JDeveloper 开发环境下管理To...