阅读R

问题描述

我想将.sav文件读入R。但是，它太大（> 11GB）。如果我只能读取部分数据，那虽然不理想，但应该可以。因此，是否可以执行以下任一操作：

• 仅读取标题（用于列名）
• 仅导入某些列（而不是整个数据集）-我尝试了haven中的函数，但似乎无法使col_select参数起作用。
• 读取整个数据集-我知道用于.csv文件的工具，但不知道用于.sav文件的工具。

感谢您的帮助！

解决方法

就将整个数据集放入R而言，我认为您无法通过块或任何类似的变通办法读取它，并且对 entire 数据集而言，它的内存效率更高。但是，有一些简单的方法可以获取列名和/或特定的变量，从而提高内存效率：

获取列名可以使用n_max参数读取空的数据框（带有变量和值标签）：

# using n_max = 0 is much more memory efficient
bench::mark(read_sav(temp)[0,],read_sav(temp,n_max = 0))[1:9]
# A tibble: 2 x 9
  expression                     min   median `itr/sec` mem_alloc `gc/sec` n_itr  n_gc total_time
  <bch:expr>                <bch:tm> <bch:tm>     <dbl> <bch:byt>    <dbl> <int> <dbl>   <bch:tm>
1 read_sav(temp)[0,]          1.11s    1.11s     0.902    76.5MB     6.31     1     7      1.11s
2 read_sav(temp,n_max = 0)   5.86ms   6.13ms   154.       97.2KB     1.98    78     1    505.6ms

获取特定列可以使用选择帮助器（或索引或​​名称等）完成，并且可以提高内存效率：

bench::mark(read_sav(temp)[c("V1","V5")],col_select = matches("V(1|5)$")))[1:9]
# A tibble: 2 x 9
  expression                                           min   median `itr/sec` mem_alloc `gc/sec` n_itr  n_gc total_time
  <bch:expr>                                      <bch:tm> <bch:tm>     <dbl> <bch:byt>    <dbl> <int> <dbl>   <bch:tm>
1 read_sav(temp)[c("V1","V5")]                      1.06s    1.06s     0.939    76.5MB     5.64     1     6      1.06s
2 read_sav(temp,col_select = matches("V(1|5)$")) 186.45ms 187.89ms     5.32    528.7KB     0        3     0    563.5ms

数据设置：

test <- as.data.frame(matrix(1:1e7,nrow = 1e4,ncol = 1e3))
temp <- tempfile()
write_sav(test,temp)

# file.remove(temp)