在训练/测试拆分之前采样不足并且精度非常低

问题描述

我正在处理高度不平衡的数据集,其中包括大约 32,000 类(0 类)和 1,300 类(1 类)。单个输入特征是文本(例如酒店评论)。经过预处理步骤将文本转换为向量后,维度长度变为 1,000 左右(使用 tf-idf)。
运行分类后,问题是我的精度太低 (15%) 而召回 (80%) 似乎很好。
我尝试了许多不同的策略来克服这个问题,通过应用欠采样,尝试不同的分类算法(logistic,XGBoost,Light GBM,...),改变决策函数阈值,绘制精确召回曲线以找到最佳点(发现精度在recall的变化中变化不大)。


我的问题是有没有办法提高我的精度? 作为ML的初学者,精度这么低的原因似乎是测试集也是不平衡的,所以很难获得更高的精度。我也尝试对测试集进行欠采样,但发现这不是我的做法。减少维度(例如 PCA)会解决这个问题吗?或者还有其他方法可以尝试吗?请帮忙...

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)