不平衡数据集的标记化

问题描述

我正在处理我想用 doc2vec 转换的电子邮件内容数据集。这是一个标签的数据集(垃圾邮件/非垃圾邮件)并且它是不平衡的(90-10 的比率)。 我的问题是:在标记电子邮件内容时,我应该先过采样(使用 SMOTE),还是可以按原样使用数据集?

解决方法

两种都试一下,选择哪个效果更好。

(另外:避免使用已知标签作为 Doc2Vec 中的文档标识符,因为在实践中将数据集变成两个巨大的文档——对于训练任何有用维度的文档向量来说太少了——而不是一个有趣/有用的高维文档向量集所需的许多不同的文档。)