高AUC,适中的精度和1:1的查全率:平衡精度和查全率的最佳模型?

问题描述

我训练了前馈神经网络,对具有以下性能的不平衡数据集(pos:neg = 67:1)进行分类

最高AUC:0.964

中等精度:0.592

适度召回率:0.569

精确度和召回率大致相似,约为1:1:

confusion matrix

ROC curve

通过阅读此thread,我了解到,如果模型具有较高的AUC但具有较低的点指标(例如精度和召回率),则可以改进该模型。

但是,我的精度几乎是1:1比率,如果我想要一个具有平衡精度和召回率的模型,尽管我这里的AUC很高, Q1)即使我使用分类也正确吗?阈值,我不会有更好的模型吗?(它是通过考虑典型的精确召回曲线的形状得出的,因此精度和召回率无法同时提高,总是需要权衡取舍。)

问题2)如果这几乎是我获得的具有最佳AUC的最佳平衡模型,那么使用AUC来评估对不平衡数据集进行模型分类性能是否毫无用处,类似于建议{{3 }}?

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)