尽管在 R 中使用了磁盘框架，​​但仍然无法分配大小问题的向量

问题描述

我一直在尝试使用磁盘框架来加载大约 45 GB 的文件。我使用下面的代码将 csv 转换为磁盘框架：

output_path = file.path(tempdir(),"tmp_cars.df")

disk <- csv_to_disk.frame("full-drivers.csv",outdir = output_path,overwrite = T,header = T)

但是，我不断收到：

"Error: cannot allocate vector of size 369.8 MB"

或 739.5 MB 的相同错误。

我尝试加载第二个较小的 csv 文件以查看它是否有效，并且确实如此。第二个文件与大文件相同，但只有前 1000 行。当我在网上寻找解决方案时，除 Rstudio 和 chrome 之外的所有其他程序都已关闭。我的电脑有 16 GB 的内存，我很困惑为什么尺寸这么小。运行 memory.limit() 给我 16344。

有没有一种方法可以加载我的第一个文件而不会出现向量错误？

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）