在TuneRanger中重复简历

问题描述

我正在使用“ TuneRanger”软件包来调整RF模型。它的效果很好，我获得了很好的结果，但是我不确定它是否适合我的模型。我想在程序包正在调整模型的每个实例中使用重复CV，但是我找不到解决方法。我也想知道是否有人知道该软件包如何验证每次尝试的结果（训练，cv，重复cv？）。我一直在阅读该软件包的说明（https://cran.r-project.org/web/packages/tuneRanger/tuneRanger.pdf），但它没有说明它。

谢谢您的帮助。

解决方法

袋外估计用于估计错误，我认为您不能使用该程序包切换到CV。由您决定CV是否比这更好。在他们的readme中，他们链接到publication，并在其下的3.5节中写道：

袋外预测用于评估，这使它变得非常有用 比其他使用评估策略的软件包更快，例如 交叉验证

如果要使用交叉验证或重复交叉验证，则必须使用caret，例如：

library(caret)

mdl = train(Species ~ .,data=iris,method="ranger",trControl=trainControl(method="repeatedcv",repeats=2),tuneGrid = expand.grid(mtry=2:3,min.node.size = 1:2,splitrule="gini"))

Random Forest 

150 samples
  4 predictor
  3 classes: 'setosa','versicolor','virginica' 

No pre-processing
Resampling: Cross-Validated (10 fold,repeated 2 times) 
Summary of sample sizes: 135,135,... 
Resampling results across tuning parameters:

  mtry  min.node.size  Accuracy  Kappa
  2     1              0.96      0.94 
  2     2              0.96      0.94 
  3     1              0.96      0.94 
  3     2              0.96      0.94 

Tuning parameter 'splitrule' was held constant at a value of gini
Accuracy was used to select the optimal model using the largest value.
The final values used for the model were mtry = 2,splitrule = gini
 and min.node.size = 1.

您可以调整的参数将有所不同。我认为mlr也可以让您执行cross-validation，但存在相同的限制。