在大型数据集上运行R-Script时，我如何防止我的计算机崩溃

Question

• Goal：阅读，压缩和写图像从一个位置到另一个位置。 图像数据集的大小约为5 TB。单个图像的平均大小约为2-5 MB。
问题：当我为此运行时 整个数据集，我的MAC大约1 GB后崩溃。脚本有效 对于大约400张图像的子集。
• 通过一一阅读图像，我希望它不需要太多的内存和处理能力，但我可能错过了一些东西。可以在下面查看我的代码并提供有关为什么崩溃的见解吗？ 任何提示和建议都将不胜感激。很抱歉不举一个可再现的例子。

  rm(list=ls())
  
  ## 1. LOAD PACKAGES
  library(magick)
  library(purrr)
  library(furrr)
  
  ## 2. SET MAIN FOLDER
  Directory_Folder <- "C:/Users/Nick/Downloads/" 
  Folder_Name <- "Photos for Nick"
  
  ## 3. SET NEW LOCATION
  New_Directory <- "C:/Users/Daikoro/Desktop/"     ## MAKE SURE TO INCLUDE THE FINAL FORWARD SLASH
  
  ## 4. LIST ALL FILES
  list.of.files <- list.files(path = paste0(Directory_Folder, Folder_Name), full.names = TRUE, recursive = TRUE)
  
  ## 5. FUNCTION FOR READING, RESIZING, AND WRITING IMAGES
  MyFun <- function(i) {
    
    new.file.name <- gsub(Directory_Folder, New_Directory, i)
    
    magick::image_read(i) %>%  ## IMPORT PHOTOS INTO R
              image_scale("400") %>%  ## IMAGE RE-SCALING
              image_write(path = new.file.name)
  }
  
  ## 6. SET UP MULTI-CORES
  future::plan(multiprocess)
  
  ## 7. RUN FUNCTION ON ALL FILES
  future_map(list.of.files, MyFun)   ## THIS WILL TAKE A WHILE...AND CRASHES AT 1GB

在Ben Bolker，R2evans和Waldi的反馈中，我设法使脚本继续进行。我在最后一行添加了

gc()

。还指定了许多这样的核心：

Answer 1

MyFun

尽管这使脚本变慢得多，但至少没有崩溃。我不确定这是否是因为我有更多的处理核心，或者是因为

## SET UP MULTI-CORES
no_cores <- availableCores() - 1
future::plan(multisession, workers = no_cores)

线。