在 future.apply::future_lapply

问题描述

我想使用 readLines 重新尝试失败的 tryCatch 提取。只要我不将它包装在用于处理列表或向量的 future.apply::future_lapply 调用中，这就会按预期工作。

可以使用此代码重现该问题：

read_lines_retrying <- function(url,attempts = 5,throttle = 5) {
    result <- NA
    while (is.na(result) && 0 < attempts) {
        attempts <- attempts - 1
        result <- tryCatch(
            {
                readLines(url)
            },error = function(cond) {
                message("caught error:")
                message(cond)
                message("")
                Sys.sleep(throttle)
                return(NA)
            }
        )
    }
    if (is.na(result)) {
        stop(paste("Could not get URL ",url))
    }
    return(result)
}

urls <- c("http://nonexistant.nonexistant")

future.apply::future_lapply(urls,read_lines_retrying)

当然，该代码旨在重试暂时的 readLines 失败，而示例 URL 将始终失败，但这种方式最容易发现问题。当使用 lapply 而不是 future.apply::future_lapply 时，它至少需要 5 秒才能完成，因为它在 5 次尝试中的每一次之后等待 5 秒。 future.apply::future_lapply 的情况并非如此，这表明异常处理不起作用。

我做错了什么，如何让 tryCatch 在 future.apply::future_lapply 内工作？

解决方法

futureverse 的作者在这里：这是一个有趣的问题。

这是一个最小的可重现示例：

boom <- function(x) {
  tryCatch(stop("boom"),error = function(cond) {
    message(1); message(cond); message(2)
  })
}  

y <- lapply(1L,FUN = boom)
## 1
## boom2

y <- future.apply::future_lapply(1L,FUN = boom)
## 1
## Error in doTryCatch(return(expr),name,parentenv,handler) : boom

我们甚至可以用个人期货重现这一点：

> y <- boom(1)
## 1
## boom2

> f <- future::future(boom(1))
> y <- future::value(f)
## 1
## Error in doTryCatch(return(expr),handler) ## : boom

首先，事实证明是 message(cond) 触发了这种奇怪的行为。例如，如果您改为使用 message(conditionMessage(cond))，则效果很好。

发生的情况是 message(cond) 最终会重新发出捕获的错误信号 (= cond)。而且，尽管 message() 在内部抑制了错误信号，但事实证明未来仍然会检测到它并将其视为确定的错误。

我有预感可能会发生什么，但我不能保证快速解决。我现在正在 https://github.com/HenrikBengtsson/future/issues/507 中跟踪此事。在解决之前，解决方法是：“避免重新发出刚刚捕获的错误信号”，即不要在错误情况下调用 message(cond) 或 warning(cond)。

感谢大家报告这个重要问题。

附注。请考虑 https://github.com/HenrikBengtsson/future/discussions 以供将来讨论，因为我只是偶尔浏览 StackOverflow。