如何在SparklyR中使用逐段删除运行关联？

问题描述

我的目标是使用sparklyR中的ml_corr函数计算缺少值的数据的相关矩阵。

为简单起见，我使用ml_corr文档中提供的示例。 https://www.rdocumentation.org/packages/sparklyr/versions/1.3.1/topics/ml_corr

我使用NaN添加了5.1的缺失值（无论哪个值都无关紧要），但我也尝试了NULL和NA，结果相同。

sc <- spark_connect(master = "local")
iris_tbl <- sdf_copy_to(sc,iris,name = "iris_tbl",overwrite = TRUE)

# Add in a missing value for the example
iris_tbl <- iris_tbl %>% mutate(Sepal_Length = ifelse(Sepal_Length == 5.1,NaN,Sepal_Length))

features <- c("Petal_Width","Petal_Length","Sepal_Length","Sepal_Width")
ml_corr(iris_tbl,columns = features,method = "pearson")

这将导致错误：“原因：org.apache.spark.SparkException：汇编值不能为空。”

我不希望删除整个行，因为我们仍然可以使用该行进行“ Petal_Width”和“ Petal_Length”之间的关联。此外，针对非火花数据帧的corr函数允许成对删除。

任何见识都受到赞赏！

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）