如果启用 Apache Arrow，SparkR 代码将失败

问题描述

我正在 SparkRDataframe 上运行 gapply 函数，如下所示

 df<-gapply(sp_Stack,function(key,e) {
    
      Sys.setlocale('LC_COLLATE','C')
   
      suppresspackageStartupMessages({ 
      library(Rcpp)
      library(Matrix)
      library(reshape)
      require(parallel)
      require(lubridate)
      library(plyr)
      library(reticulate)
      library(stringr)
      
      library(data.table)
   })
      calcDecsOnly(e,RequestNumber=RequestNumber,...)
    },cols="udim",schema=schema3)

如果我们设置 spark.sql.execution.arrow.sparkr.enabled = "false" 上面的代码运行没有任何错误，但是如果我设置 spark.sql.execution.arrow.sparkr.enabled = "true" 火花作业失败并出现以下错误

Caused by: java.io.EOFException
    at java.io.DataInputStream.readInt(DataInputStream.java:392)
    at org.apache.spark.sql.execution.r.ArrowRRunner$$anon$2.read(ArrowRRunner.scala:154)

环境：Google Cloud Dataproc 火花版本：3.1.1 Dataproc 版本：基于 2.0.9-debian10 构建的自定义映像

感谢这里的任何帮助，提前致谢

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）