如何在R中使用disk.frame计算唯一实体？

问题描述

我想将数据帧转换为磁盘帧，然后计算第一列。当我尝试它时，它不计算列的唯一值的数量。看来是在计算工人人数。

library(disk.frame)
options(future.globals.maxSize = Inf)
setup_disk.frame(workers = 8)

这是示例数据集

    bigint <- sample(123901239804:901283455390,3*10^5)
    df <- data.frame(bigint)
    df %>% 
      summarize(ints = length(unique(bigint)))
    
    df %>% 
      as.disk.frame %>%
      summarize(ints = length(bigint)) %>% 
      collect

在第一个查询中，它得到了我的输出

    ints
1 300000

在第二个查询中，它得到了我的输出

    ints
1      8

解决方法

{disk.frame}仅支持某些分组功能。您可以使用dplyr::n_distinct

df %>% 
  as.disk.frame %>%
  summarize(ints = n_distinct(bigint)) %>% 
  collect

产生

    ints
1 300000

在https://diskframe.com/articles/10-group-by.html#list-of-supported-group-by-functions

中查看受支持的分组动词列表

您可以按照本指南定义更多自定义的分组动词

https://diskframe.com/articles/11-custom-group-by.html

由于disk.frame的分块性质，某些分组依据动词无法以精确的方式完成。但这对于所有“大型”数据系统都是如此。