在大型数据集上运行R脚本时，如何防止计算机崩溃

编程问答 2022-08-11

问题描述

  • 目标：将图像从一个位置读取，压缩和写入到另一个位置。 图像数据集的大小约为5 TB。单个图像的平均大小约为2-5 Mb。
  • 问题：运行时 整个数据集，我的Mac在大约1 GB后崩溃。脚本有效 用于约400张图像的子集。

通过逐个读取图像，我希望它不需要太多的内存和处理能力，但是我可能错过了一些东西。有人可以在下面查看我的代码并提供其崩溃原因的见解吗？任何提示和建议将不胜感激。抱歉，没有给出可复制的示例。

rm(list=ls())

## 1. LOAD PACKAGES
library(magick)
library(purrr)
library(furrr)

## 2. SET MAIN FOLDER
Directory_Folder <- "C:/Users/Nick/Downloads/" 
Folder_Name <- "Photos for Nick"

## 3. SET NEW LOCATION
New_Directory <- "C:/Users/Daikoro/Desktop/"     ## MAKE SURE TO INCLUDE THE FINAL FORWARD SLASH

## 4. LIST ALL FILES
list.of.files <- list.files(path = paste0(Directory_Folder,Folder_Name),full.names = TRUE,recursive = TRUE)

## 5. FUNCTION FOR READING,RESIZING,AND WRITING IMAGES
MyFun <- function(i) {
  
  new.file.name <- gsub(Directory_Folder,New_Directory,i)
  
  magick::image_read(i) %>%  ## IMPORT PHOTOS INTO R
            image_scale("400") %>%  ## IMAGE RE-SCALING
            image_write(path = new.file.name)
}

## 6. SET UP MULTI-CORES
future::plan(multiprocess)

## 7. RUN FUNCTION ON ALL FILES
future_map(list.of.files,MyFun)   ## THIS WILL TAKE A WHILE...AND CRASHES AT 1GB

解决方法

借助Ben Bolker，r2evans和Waldi的反馈，我设法使脚本开始运行。我在gc()的最后一行中添加了MyFun。并且还指定了许多这样的核心：

## SET UP MULTI-CORES
no_cores <- availableCores() - 1
future::plan(multisession,workers = no_cores)

尽管这使脚本慢得多，但至少没有崩溃。我不确定这是因为我有更多可用的处理内核，还是因为gc()行。

imageimageimagemagickpurrrrr