问题描述
我有一个分类问题,我想查看客户端是默认用户还是非默认用户。对我而言,重要的是违约的可能性以及模型的校准程度,因此我正在使用brier得分作为我的评分方法进行网格搜索。我也很想知道brier得分和roc-auc之间是否存在关系,因此在网格搜索中,我将这两个参数作为参数提供。
然后我将网格搜索的结果相互绘制
clf = GridSearchCV(pipeline,parameters,cv=kfolds.split(x,y),scoring=['neg_brier_score','roc_auc'],return_train_score=True,n_jobs=n_jobs,refit='neg_brier_score')
我选择从refit参数优化brier得分,如上所示。在我使用roc-auc之前,如果验证分数和来自网格搜索的训练分数之间存在很大差异,则将其视为过拟合。刺分数也一样吗?例如当我进行绘图时,我得到的brier得分和roc-auc结果:
以上是我使用网格saeach结果获得的石斑分数,而下面是我的roc-auc得分:
看一下较野的分数图,看起来并不太合适。但是,当您从gs看roc-auc图时,看起来像是。如果我要像上面所做的那样选择对最普通分数进行优化,我如何判断是否过度拟合?验证与训练集的brier得分是否有很大差异?我怎么也能获得良好的准确性和良好的校准概率。
注意:我正在使用xgboost。
解决方法
暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!
如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。
小编邮箱:dio#foxmail.com (将#修改为@)