错误：使用Sparklyr中的copy_to时，C堆栈使用率133776899太接近限制

问题描述

我正在尝试将data.frame转换为Spark DataFrame：

library(sparklyr)

conf <- list()

conf$`sparklyr.cores.local` <- 4
conf$`sparklyr.shell.driver-memory` <- "16G"
conf$spark.memory.fraction <- 0.9

sc <- spark_connect(master = "local",config = conf)

load("./data/dfm_training.RData")
load("./data/training.RData")


df <- training[,c(1,2,3,18)]
df$TextLength <- nchar(df$txt)
df <- df[df$TextLength > 0,]

df.tokens.df <- cbind(nchar = df$TextLength,label = df$training2_CFT,convert(dfm_training,to = "data.frame"))

## to spark
sdf <- copy_to(sc,df.tokens.df)

但是，出现以下错误：

Error: C stack usage 133776899 is too close to the limit

我尝试切换内核数和使用的内存数，但没有任何变化。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）