问题描述
为什么GCP Dataproc的群集根据内存请求和 NOT 内核使用YARN作为RM进行自动扩展？是Dataproc或YARN的限制，还是我缺少什么？
参考：https://cloud.google.com/dataproc/docs/concepts/configuring-clusters/autoscaling
自动缩放将Hadoop YARN配置为基于 YARN内存请求而不是YARN核心请求来调度作业。
自动缩放围绕以下Hadoop YARN指标进行：
已分配内存是指在整个群集中运行容器所占用的总YARN内存。如果有6个运行中的容器可以使用多达1GB，则分配的内存为6GB。
可用内存是群集中未分配的容器使用的YARN内存。如果所有节点管理器上都有10GB的内存，而6GB的已分配内存，则有4GB的可用内存。如果群集中有可用（未使用）的内存，则自动扩展可能会从群集中删除工作线程。
待处理内存是对待处理容器的YARN内存请求的总和。待处理的容器正在等待在YARN中运行的空间。仅当可用内存为零或太小而无法分配给下一个容器时，待处理内存才为非零。如果有待处理的容器，则自动扩展可能会向群集添加工作线程。
解决方法
暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！
如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@）