带有mlr3 :: autoplot的Roc曲线，用于带有“保持”重采样的基准测试

问题描述

我正在使用mlr3软件包，并且想绘制不同模型的ROC曲线。如果我按照documentation中所述使用交叉验证，则效果很好，但是如果我使用“ holdout”进行重采样，则会收到错误Error: Invalid show_cb. Inconsistent with calc_avg of evalmod.。

代码如下：

library("mlr3")
library("mlr3learners")
library("mlr3viz")

# one task only
tasks = lapply(c("german_credit"),tsk)

# get some learners and for all learners ...
# * predict probabilities
# * predict also on the training set
learners = c("classif.featureless","classif.rpart","classif.ranger","classif.kknn")
learners = lapply(learners,lrn,predict_type = "prob")

# compare via 3-fold cross validation
resamplings = rsmp("holdout",ratio = .8) # holdout instead of cv

# create a BenchmarkDesign object
design = benchmark_grid(tasks,learners,resamplings)
print(design)

bmr = benchmark(design)
autoplot(bmr,type = "roc")

感谢您的帮助， 马修（Mathieu）

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）