为什么read_csv的结果大于read.csv的结果？

编程问答 2022-06-03

问题描述

我正在一个项目中导入许多（> 300）.csv文件，但我偶然发现了一个非常奇怪的情况。

比较read_csv和read.csv的结果时，大小存在明显差异。 Windows列出所有文件的文件大小为442 MB。

使用readr 

library(tidyverse)

datadir <- "Z:\\data\\attachments"
list_of_files <- list.files(path = datadir,full.names = TRUE)

readr_data <- lapply(list_of_files,function(x) {
  read_csv(x,col_types = cols())
})

object.size(readr_data)
#> 416698080 bytes

str(readr_data[1])
#> List of 1
#>  $ : tibble [2,123 x 80] (S3: spec_tbl_df/tbl_df/tbl/data.frame)

使用base方法

base_data <- lapply(list_of_files,function(x) {
  read.csv(x)
})


object.size(base_data)
#> 393094616 bytes
str(base_data[1])
#> List of 1
#>  $ :'data.frame':    2123 obs. of  80 variables:

# Compare size
object.size(readr_data) / object.size(base_data) * 100
#> 106 bytes

现在6％可能不会那么多，但是仍然是23 MB，我仍然对为什么它们有所不同感兴趣。此外，两者均比Windows报告的要小。

为什么列表大小不同，这很重要吗？

编辑：显然某些类是不同的。我使用了this method：

readr_class <- sapply(readr_data[[1]],class)

base_class <- sapply(base_data[[1]],class)
result <- data.frame(readr_class,base_class)

这些是区别：

                 readr_class base_class
var1              numeric    integer
var2              numeric    integer
var3              numeric    integer
var4              character  integer

解决方法

选择正确的功能对于编写高效的代码当然非常重要。 不同功能和程序包中存在的优化程度将影响对象的存储方式，对象的大小以及在对象上运行的速度。请考虑以下内容。

select userId,teamId,name,pid
from (
    select u.userId,t.teamId,t.name,r.pid,row_number() over (order by u.userId) rn
    from User u
    inner join resource r on r.userId = u.userId
    inner join team t on t.bossId = u.bossId
    where r.pid = @pid
) d
where d.rn = 1

因此，在这里您已经看到library(data.table) a <- c(1:1000000) b <- rnorm(1000000) mat <- as.matrix(cbind(a,b)) df <- data.frame(a,b) dt <- data.table::as.data.table(mat) cat(paste0("Matrix size: ",object.size(mat),"\ndf size: ",object.size(df)," (",round(object.size(df)/object.size(mat),2),")\ndt size: ",object.size(dt),round(object.size(dt)/object.size(mat),")" )) Matrix size: 16000568 df size: 12000848 (0.75) dt size: 4001152 (0.25) 使用的存储空间是旧data.table的4倍，是matrix的3倍。现在关于操作速度：

data.frame

> microbenchmark(df[df$a*df$b>500,],mat[mat[,1]*mat[,2]>500,dt[a*b>500]) Unit: milliseconds expr min lq mean median uq max neval df[df$a * df$b > 500,] 23.766201 24.136201 26.49715 24.34380 30.243300 32.7245 100 mat[mat[,1] * mat[,2] > 500,] 13.010000 13.146301 17.18246 13.41555 20.105450 117.9497 100 dt[a * b > 500] 8.502102 8.644001 10.90873 8.72690 8.879352 112.7840 100 的过滤速度比data.table上的base快1.7倍，比使用data.frame快2.5倍。

这还不是全部，对于几乎所有CSV导入，使用matrix都会改变您的生活。试试看，不要尝试data.table::fread或read.csv。

恕我直言read_csv并没有得到应有的爱，它是性能最佳的全方位软件包，语法非常简洁。 following vignettes应该让您迅速上路，值得我付出努力，相信我。

为了进一步提高性能，data.table包含许多流行功能和问题的Rfast实现，例如Rcpp。

编辑：rowSort()的速度归因于在C代码级别进行的优化，其中涉及使用指针进行内存映射以及强制使用的技术，坦率地说，这超出了我的理解范围。 This post包含作者Matt Dowle的一些解释，以及他与fread的作者Hadley Wickham之间有趣的，简短的讨论。

csvcsvrrreadr