如果核心减少一半,则火花作业将花费更长的时间

问题描述

我正在为我的项目使用spark 1.6.0并在单群集模式下运行,以前我的系统具有8个核心,并且能够在2分钟内处理所有记录,但是当我仅使用4个核心和其余配置时同样,需要3个多小时才能完成工作。我在将核心减少一半上感到困惑,为什么我的工作要花这么多时间。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)

相关问答

错误1:Request method ‘DELETE‘ not supported 错误还原:...
错误1:启动docker镜像时报错:Error response from daemon:...
错误1:private field ‘xxx‘ is never assigned 按Alt...
报错如下,通过源不能下载,最后警告pip需升级版本 Requirem...