将小文件读取到本地sparklyr中，错误为：java.lang.OutOfMemoryError：Java堆空间

问题描述

出于学习目的，我想从本地Sparklyr表中加载文件，但是出现内存问题。但是，文件不是太大。我什至可以将其加载到RStudio中。只有76.9MB。这是代码：

> raw_data <- readRDS("./datasets/raw_data/test.RDS")
> sc <- spark_connect(master = "local")
* Using Spark: 2.4.3
> raw_data <- copy_to(sc,raw_data)
Fehler: java.lang.OutOfMemoryError: Java heap space
    at java.util.Arrays.copyOfRange(UnkNown Source)
    at java.lang.String.<init>(UnkNown Source)
    at java.io.BufferedReader.readLine(UnkNown Source)
...

如何解决此问题？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）