在留一法交叉验证中,我如何使用 `shap.Explainer()` 函数来解释机器学习模型?

问题描述

问题背景

我想使用在 Python 的 shap 库中实现的 SHapley Additive exPlanations (SHAP) 来解释机器学习 (ML) 模型的结果。作为函数 shap.Explainer() 的参数,我需要传递一个 ML 模型(例如 XGBRegressor())。但是,在留一法交叉验证 (LOOCV) 的每次迭代中,ML 模型都会有所不同,因为在每次迭代中,我都在不同的数据集上进行训练(1 个参与者的数据会有所不同)。此外,模型会有所不同,因为我在每次迭代中都在进行特征选择。

那么,我的问题

在 LOOCV 中,如何使用 shap.Explainer() 库的 shap 函数来展示机器学习模型的性能?可以注意到,我已经检查了 SO 的几个教程(例如 this onethis one)和几个问题(例如 this one)。但是我没能找到问题的答案。

感谢阅读!


更新

我知道在 LOOCV 中,每次迭代中找到的模型都可以用 shap.Explainer() 来解释。但是,由于有 250 个参与者的数据,如果我在这里为每个模型应用 shap,将有 250 个输出!因此,我想得到一个输出来展示 250 个模型的性能

解决方法

您似乎在执行 LOOCV 时在 250 个数据点上训练模型。这是关于选择具有超参数的模型以确保最佳泛化能力。

模型解释与训练不同,因为您不会筛选不同的超参数集——请注意,250 LOOCV 已经过大了。你会用 250'000 行来做到这一点吗? -- 您更希望尝试了解哪些功能在什么方向上影响输出以及影响程度。

训练有其自身的局限性(数据的可用性,如果新数据与模型训练的数据相似,模型是否足够好以获取数据的特性并很好地概括等),但也不要高估解释练习.了解输入如何影响输出仍然是尝试。您可能愿意对 250 个不同的 SHAP 值矩阵求平均值。但是您是否希望结果与单个随机训练/测试拆分有很大不同?

还要注意:

但是,在留一法交叉验证 (LOOCV) 的每次迭代中,ML 模型都会有所不同,因为在每次迭代中,我都在不同的数据集上进行训练(1 个参与者的数据会有所不同)。

LOOCV 的每次迭代中,模型仍然相同(相同的特征,超参数可能不同,具体取决于您对 iteration 的定义)。它仍然是相同的数据集(相同的特征)

此外,模型会有所不同,因为我在每次迭代中都在进行特征选择。

没关系。将生成的模型提供给 SHAP 解释器,您将得到您想要的。