问题描述
我有 this dataset，其中肯定类包含 APS 系统特定组件的组件故障。
我正在使用 Microsoft Azure 机器学习工作室进行预测性维护。
从下面的图片中可以看出，我使用了 4 种算法：逻辑回归、随机森林、决策树和 SVM。您可以看到分数模型节点中的输出数据集由 16k 行组成。然而，当我看到评估模型的输出时，在混淆矩阵中，逻辑回归只有 160 个观测值，而正确的数字是 16k 随机森林。我有同样的问题，决策树和 SVM 模型中只有 160 个观察值。同样的问题在其他实验中重复出现，例如在特征选择、归一化等之后：一些评估模型没有使用测试数据集的所有行，而其他一些节点使用了。
我该如何解决这个问题？因为我对假阳性和假阴性的真实数量感兴趣。
解决方法
显示的输出指标基于验证集（例如“validation metric”、“val-accuracy”）。计算和显示的所有指标都在验证集上，而不是在原始训练集上。所有这些指标都只在验证集上计算，而不考虑训练集，否则我们会通过考虑已经用于训练模型的数据来夸大模型的性能。