Py4JJavaError：调用 o114.json 时发生错误 : java.lang.OutOfMemoryError: Java 堆空间

编程问答 2023-01-10

问题描述

我正在尝试使用此代码修复它，但它对我不起作用。 我正在阅读一个 2.7 MB 的 json 文件

conf = SparkConf().set("spark.cores.max","16g") \
   .set("spark.driver.memory","16g") \
   .set("spark.executor.memory","16g") \
   .set("spark.executor.memory_overhead","16g") \
   .set("spark.driver.maxResultsSize","0")

spark = SparkSession.builder\
      .master("local[1]")\
      .appName("name")\
      .config(conf=conf)\
      .getorCreate()

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

heap-memoryjavajavapysparkpysparkspacespace