使用summary_all查找Sparklyr数据的中位数

问题描述

我正在尝试获取使用sparklyr在r中提取的数据的摘要统计信息，包括均值和中位数。我可以通过在dplyr :: summarize（）步骤中手动键入所有内容来获取所有统计信息，但是我想知道是否有一种方法可以使用summary_all（）语句来实现。

手动尝试有效：

test<-data%>%
    dplyr::summarize(count=n(),mean_c1=mean(column1,na.rm=TRUE),mean_c2=mean(column2,median_c1=percentile(column1,.5),median_c2=percentile(column2,.5))

Summarize_all（）尝试无需调用百分位数的中位数即可工作。这可以让我获得数据的计数，平均值，最小值，最大值（vars是列名的向量）

test<-data%>%
    select(vars)%>%
    dplyr::summarize_all(list(count=~n(),mean=mean,min=min,max=max))

但是当我尝试将中位数添加到混音中时，我会收到错误消息-它不再识别 percentile命令，它是一个Hive函数，而不是r / dplyr函数。 （“继承（x，“ fun_list”）中的错误：找不到对象“百分位数””）

test<-data%>%
    select(vars)%>%
    dplyr::summarize_all(list(count=~n(),max=max,median=percentile),probs=.5)

我尝试使用分位数而不是百分位数（这是我对数据框的处理方式），但是当我调用“测试”表时却出错了。

是否可以使用summary_all（）命令获取r中的火花表的中位数？还是我必须手动进行更多操作？

解决方法

您是否愿意使用summarize来做到这一点？因为您已经在使用tidyverse，并且软件包psych附带了，所以您可以这样做

data %>% 
  select(vars) %>%
  psych::describe()

或多或少地得到相同的结果。

,

胶水包解决了我的问题。

library(rlang)
library(glue)

vars<-tbl_vars(data)
eq3<-glue("percentile({vars},.5)")%>%
    setNames(paste0(vars,"_median"))%>%
    lapply(parse_quosure)
test<-data%>%
    dplyr::summarize(!!!eq3)