在 tidymodel 上使用 DoParallel 调整模型时如何使用更多可用内核

问题描述

我正在 tidymodels 中使用 ranger 调整一些随机森林模型。我有一个相当大的数据集，有很多列。因此，我使用来自 Danny Foster's article: R on Digital Ocean 的指令设置了一个数字海洋液滴用于调整/训练。我用来训练模型的系统在英特尔硬件上运行，具有 32 个内核和 64GB 内存。

我在调优之前使用以下命令实现并行处理：

doParallel::registerDoParallel(cores=28)
set.seed(345)

tune_res <- tune_grid(
  tune_wf,resamples = figs_folds,grid = 10
)

当我使用 htop 命令查看系统上的处理时，我发现 32 个内核中有 17 到 18 个一直在使用。这个数字似乎与 DoParallel 文档一致，该文档指出，如果未指定内核，则会使用 50% 的内核。我认为 2 个核心用于其他任务，而我的模型使用的是 16 个。

因此，我指定要使用的内核数的方式似乎有问题。

doParallel::registerDoParallel(cores=28)

我应该如何指定在 DoParallel 中使用的内核数量。

编辑更新： 当我从调整随机森林模型切换到训练逻辑回归时。所有内核和更多可用内存都得到了利用。这是逻辑回归模型训练的 htop 图像：

如您所见，所有内核都已使用，大约有 46 GB 的 RAM。这是否表明不同的模型可以以不同的方式利用内核。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）