问题描述
我正在使用 raster
包,我尝试切换到 terra
但由于某些我不明白的原因,terra
无法重现 {{1} 的相同操作}} 与 raster
和 sNowfall
等包并行工作时。这是一个可重现的示例。
future.apply
.External(list(name = "CppMethod__invoke_notvoid",address =
如果我将 library(terra)
r <- rast()
r[] <- 1:ncell(r)
m <- rast()
m[] <- c(rep(1,ncell(m)/5),rep(2,rep(3,rep(4,rep(5,ncell(m)/5))
ms <- separate(m,other=NA)
plot(ms)
mymask <- function(ind){
tipo <- tipo_tav[ind]
mask <- ms[[ind]]
masked <-
terra::mask(
r,mask
)
richard <- function(x){
k <-0.2
v <-0.3
a <-200
y0 <-2
y <- k/v*x*(1-((x/a)^v))+y0
return(y)
}
pred <- richard(masked)
pred <- clamp(pred,lower=0)
return(pred)
}
#the sequential usage works fine,faster than the `raster` counterpart
system.time(x <- mymask(1))#0.03
#when I try to run my function in parallel I receive an error
plan(multisession,workers=5)
system.time(pred_list <- future_lapply(1:5,FUN = mymask))
更改为 rast
并将 raster
更改为 terra::mask
,则完全相同的代码运行良好。见下文:
raster::mask
如果我使用 library(raster)
r <- raster(r)
ms <- stack(ms)
mymask <- function(ind){
tipo <- tipo_tav[ind]
mask <- ms[[ind]]
masked <-
raster::mask(
r,mask
)
richard <- function(x){
k <-0.2
v <-0.3
a <-200
y0 <-2
y <- k/v*x*(1-((x/a)^v))+y0
return(y)
}
pred <- richard(masked)
pred <- clamp(pred,lower=0)
return(pred)
}
#this works fine
system.time(x <- mymask(1))#0.06
#this works too
plan(multisession,FUN = mymask))#15.48
而不是 sNowfall
future
这会返回与 library(sNowfall)
sfInit(parallel = TRUE,cpus =5)
sfLibrary(terra)
sfExportAll()
system.time(pred_list <- sfLapply(1:5,fun = mymask))
sfStop()
相同的错误
为什么会这样?我从未见过这样的错误。我希望利用 future_lapply
的更高速度,但我被卡住了。
解决方法
A SpatRaster
无法序列化,您无法将其发送到并行计算节点。查看 here 了解更多讨论。
相反,您可以 (a) 发送和接收文件名; (b) 并行化您提供给 app
或 lapp
的自定义函数; (c) 使用 cores=n
参数(如果可用,例如 app
和 predict
); (d) 使用类似 wrap
的机制; (e) 发送一个文件名和一个向量,使 SpatExtent 处理并从输出图块创建一个虚拟栅格(参见 ?vrt)。
例如,您可以使用这样的函数(选项“a”)
prich <- function(filein,fileout) {
r <- rast(filein)
richard <- function(x) {
k <-0.2
v <-0.3
a <-200
y0 <-2
y <- k/v*x*(1-((x/a)^v))+y0
y[y<0] <- 0
return(y)
}
x <- app(masked,richard,filename=fileout,overwrite=TRUE)
return(TRUE)
}
我使用 app
是因为它对于大型栅格的效率要高得多——因为它可以避免使用 SpatRaster 为 10 个算术运算中的每一个编写临时文件。鉴于您想并行化这个相对简单的函数,我假设文件非常大。
或选项“c”:
richard <- function(x) {
k <-0.2
v <-0.3
a <-200
y0 <-2
y <- k/v*x*(1-((x/a)^v))+y0
y[y<0] <- 0
return(y)
}
x <- app(masked,cores=12)
在这两种情况下,我都包含了遮罩。您可以将它包含在选项“a”中,但 mask
是磁盘 I/O 密集型,而不是计算密集型,因此一步完成而不是并行执行可能同样有效。
使用 wrap
你可以做这样的事情
f <- function(w) {
x <- rast(w)
y <- richard(x)
wrap(y)
}
r <- rast(nrow=10,ncol=10,vals=1:100)
x <- f(wrap(r))
x <- rast(x)
其中 f
将并行运行。这仅适用于小型栅格,但您可以并行化切片,我计划为此编写一个包装器以使其易于使用。
还会有更多,但不要屏住呼吸。