Spark流作业的内存分配

问题描述

我正在使用dataproc进行Spark流媒体作业。群集配置就像1个主节点和4个工作节点>事项-> 2个vcore和7.5 GB内存工作人员-> 8个vcore和64 GB每个节点的内存>我正在集群模式下提交spark作业并使用16个执行器,每个执行器具有11000m的内存在这里群集使我可以使用256 GB中的192 GB(包括开销)的内存。所以我的问题是64GB的使用位置,如果我想使用该64GB的内存这样做吗?最小分配为1024 mb,最大分配为49152 mb。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)