从并行 foreach 循环中获取多个值

问题描述

我尝试过搜索，但没有找到任何让我一直困扰的东西。

我正在三个栅格的堆栈上运行占用率预测模型。由于需要进行大量处理，我使用了并行 foreach 循环。

我需要从循环结果中检索三个变量：test、na 和 pred。我需要这三个值来填充新的栅格值并保持相同的范围。除非有人知道一种方法来填补处理过程中 NA 值造成的空白？

以下是我根据找到的帖子尝试使用的代码。 我也尝试过嵌套 foreach 循环，但我不确定我是否理解这些循环是如何工作的，或者这是否能达到我的目的。

library(parallel)
library(doSNow)

multiResultClass<- function(test = NULL,tmp = NULL,na = NULL,pred = NULL){
  results<- list(
    test = test,tmp = tmp,na = na,pred = pred
  )
  class(results)<- append(class(results),"multiResultClass")
  return(results)
}

nc<- detectCores()-1
cl<- makeCluster(nc)
registerDoSNow(cl)

predicts<- foreach (i = 1:nrow(pm),.multicombine = T,.maxcombine = 1000,.packages = c("unmarked","raster"),.verbose = T)%dopar%{
           
            results<- multiResultClass()
           
           test<- cellFromrow(pm,i)
           tmp<- data.frame(pm[test])
           na<- any(is.na(tmp[i,]))
           
           if(length(which(na) != nrow(tmp))){
             pred<- predict(fmBest,"state",tmp)
           }
           results$test<- test
           results$tmp<- tmp
           results$na<- na
           results$pred<- pred
           return(results)
         }

foreach(i = 1:nrow(pm))%do%{
  
test<- predicts[[i]]$test
na<- predicts[[i]]$na
pred<- predicts[[i]]$pred
}

stopCluster(cl)

我有一个有效的 foreach 循环，可以让我获得 pred 值，但没有测试，我还没有找到一种方法来正确填充数据需要进入的栅格模板。该 foreach 循环如下：

library(parallel)
library(doSNow)


ns<- detectCores()-1
cl<- makeCluster(ns);cl
registerDoSNow(cl)

predictions<- 
  foreach (i = 1:nrow(pm),.maxcombine = 5000,.verbose = T)%dopar%{
   
                 test<- cellFromrow(pm,i)
                 tmp<- data.frame(pm[test])
                 na<- any(is.na(tmp[i,]))
                 
                 if(length(which(na) != nrow(tmp))){
                 predict(fmBest,tmp)
}

}

stopCluster(cl)

解决方法

我终于找到了一个可以工作的组合函数。下面是我使用的代码，它在一个大列表中返回 test、na 和 pred 的所有值。

library(doSNOW)

nc<- detectCores()-1
cl<- makeCluster(nc);cl
registerDoSNOW(cl)

comb<- function(...){
  mapply('rbind',...,SIMPLIFY = F)
}

predictions<- foreach(i = 1:nrow(pm),.combine = 'comb',.multicombine = T,.maxcombine = 200,.packages = c("unmarked","raster"),.verbose = T,.inorder = F)%dopar%{ 
            
        #get cell number values from raster stack
            test<- cellFromRow(pm,i)
            
            # make into a data.frame for prediction
            tmp<- data.frame(pm[test])
            
            # test which are na
            na<- any(is.na(tmp[i,]))
            
            # avoid NA values entering the predict function
            if(length(which(na)) != nrow(tmp)){

              #   # Predict the new data
              pred<- predict(fmBest,"state",tmp)
              
            }

            list(test,na,pred)  
            
           }
stopCluster(cl)