为什么使用Spark数据帧时SparkR在数据块上不显示函数输出?

问题描述

在数据块上,从R数据帧开始:

x <- data.frame(n=1:1000)

现在,SparkR摘要功能提供了不错的输出:

SparkR::summary(x)
   n         

最低:1.0
一等奖:250.8
中位数:500.5
均值:500.5
第三届:750.2
最高:1000.0

命令花费了0.02秒-由 @ 在9/9/2020,9:46:57 AM在aa_cluster_6w上

接下来,我将R数据帧转换为spark数据帧:

y <- SparkR::createDataFrame(x=x)

我能够确认对象y确实是Spark Dataframe:

class(y)

[1]“ SparkDataFrame” attr(,“包裹”) [1]“ SparkR”

命令花费了0.01秒-由 @ 在9/9/2020,9:47:35 AM在aa_cluster_6w上

不幸的是,当我尝试对其进行汇总时,SparkR库不会输出函数结果:

SparkR::summary(y)

SparkDataFrame [summary:string,n:string]

命令花费了0.48秒-由 @ 在2020年9月9日上午9:47:16在aa_cluster_6w上

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)