问题描述
如果我的spark 2.x应用程序不需要缓存,建议我将spark.storage.fraction
设置为零。如果不执行缓存,是否不知道要重新使用该空间?我真的应该告诉缓存专用空间用于处理吗?
解决方法
所以答案是肯定的,spark 2.x正在存储和处理之间重新分配堆空间。
如果我的spark 2.x应用程序不需要缓存,建议我将spark.storage.fraction
设置为零。如果不执行缓存,是否不知道要重新使用该空间?我真的应该告诉缓存专用空间用于处理吗?
所以答案是肯定的,spark 2.x正在存储和处理之间重新分配堆空间。