使用log_loss / roc_auc_score或以scoring ='neg_log_loss'/'roc_auc'执行cross_val_score可获得不同的结果Scikit学习

问题描述

在Scikit中研究一些分类模型后，我发现在执行交叉验证时，对数丢失和ROC AUC的得分始终低于对整个训练集进行拟合和预测（完成以检查是否过度拟合）时的得分。这对我来说没有意义。 具体来说，使用cross_validate将得分设置为['neg_log_loss','roc_auc']，并且在对训练集执行手动拟合和预测时，我使用了度量函数log_loss'和roc_auc_score。

为了试图弄清楚发生了什么，我编写了一个代码来手动执行交叉验证，以便能够在各个折叠上手动调用度量标准函数，并将结果与​​cross_validate中的结果进行比较。如下所示，即使这样，我也得到了不同的结果！

from sklearn.model_selection import StratifiedKFold
kf = KFold(n_splits=3,random_state=42,shuffle=True)
log_reg = LogisticRegression(max_iter=1000)
for train_index,test_index in kf.split(dataset,dataset_labels):
    X_train,X_test = dataset[train_index],dataset[test_index]
    y_train,y_test = dataset_labels_np[train_index],dataset_labels_np[test_index]
    log_reg.fit(X_train,y_train)
    pr = log_reg.predict(X_test)
    ll = log_loss(y_test,pr)
    print(ll)


from sklearn.model_selection import cross_val_score
cv_ll = cross_val_score(log_reg,dataset_prepared_stand,dataset_labels,scoring='neg_log_loss',cv=KFold(n_splits=3,shuffle=True))
print(abs(cv_ll))

输出：

4.795481869275026
4.560119170517534
5.589818973403791

[0.409817 0.32309  0.398375]

为ROC AUC运行相同代码的输出是：

0.8609669592272686
0.8678563239907938
0.8367147503682851

[0.925635 0.94032  0.910885]

为确保正确编写代码，我还尝试使用'accuracy'作为交叉验证的评分和accuracy_score作为度量函数的代码，结果是一致的：

0.8611584327086882
0.8679727427597955
0.838160136286201

[0.861158 0.867973 0.83816 ]

有人可以解释为什么在日志丢失和ROC AUC情况下结果不同吗？谢谢！

解决方法

对数损失和auROC都需要概率预测，而不是硬类预测。所以改变

pr = log_reg.predict(X_test)

到

pr = log_reg.predict_proba(X_test)[:,1]

（下标是为了获取肯定类的概率，并假设您正在进行二进制分类）。