R furrr：在运行计算之前，在每个以后的过程中对API进行身份验证

问题描述

我正在R中使用furrr运行并行计算。该计算需要访问Web API，并且需要进行身份验证。如果我运行并行进程，则每个进程都需要进行身份验证。 在下面，我有6个过程。因此，我首先需要对这六个过程进行身份验证，然后运行计算。我不知道如何使用furrr来做到这一点。因此，我最终在每次运行时都要进行身份验证，这确实效率很低。

下面是一个用于说明目的的简单示例。由于我无法共享api.configure函数，因此无法正常工作，但希望您能理解。

谢谢

library(tidyverse)
library(furrr)
plan(multiprocess,workers = 6)

testdf =  starwars %>%
  select(-films,-vehicles,-starships) %>%
  future_pmap_dfr(.f = function(...){
    api.configure(username = "username",password = "password")
    currentrow = tibble(...)
    l = tibble(name = currentrow$name,height = currentrow$height)
    return(l)
})

解决方法

尝试在地图之前打开连接：

library(tidyverse)
library(furrr)
plan(multiprocess,workers = 6)

future_options(globals = T) # this should be the default
api.configure(username = "username",password = "password")
ls(all=TRUE) #Check if new environment variables are available to save connexion

testdf =  starwars %>%
  select(-films,-vehicles,-starships) %>%
  future_pmap_dfr(.f = function(...){
    
    currentrow = tibble(...)
    l = tibble(name = currentrow$name,height = currentrow$height)
    return(l)
})

,

解决这个问题的方法是要求API的开发人员在API包中添加测试连接是否打开的变量。这样我就对每个 future 进程进行一次身份验证，如果连接没有打开，一旦完成，所有对该进程的后续 API 身份验证调用都将被 if 子句暂停。