如何防止hadoop长时间运行的作业阻塞整个集群?

问题描述

我们在同一个 Cloudera / Hortonworks 集群中运行生产(生产)作业和开发(开发)作业。

每当启动长时间运行的开发作业时,它都会阻塞高优先级生产作业的资源。如何防止这种资源被开发作业阻塞并分享给生产作业?

一种解决方案是使用分配的资源为开发作业和生产作业创建单独的队列,比如开发队列的 20% 和生产队列的 80%。用户可以运行一个 dev/prod 作业,在提交作业之前提及作业属于哪个队列。但是,我不确定如何实现这一点。有资源链接吗?此解决方案适用于 MR/Tez/Spark 引擎吗?

抢占是否有助于防止资源阻塞? https://blog.cloudera.com/better-slas-via-resource-preemption-in-yarns-capacityscheduler/

谢谢,

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)