问题描述
全部，
由于驱动程序不持有任何数据或处理任何数据，在什么情况下会分配给spark.driver.memory的默认资源 和 spark.driver.cores 需要更新为更高的值。
有人可以通过一些我可以阅读的链接为我指出正确的方向吗？
谢谢，
格雷吉
解决方法
TLDR 答案：
spark.driver.memory ：当您将数据带给驱动程序时。更具体地说，例如收集或广播操作
spark.driver.cores ：毕竟 - 驱动程序进程是 Scala/Java/Python 进程。如果你想做一些多线程（比如后台进程），那么你可以为内核使用更高的值。
