问题描述
上面的图片是我要复制的内容。我只是不知道我是否正在正确的方法。 我正在使用FakeNewsChallenge数据集及其极其不平衡的数据集,并且正在尝试复制和改进论文中使用的方法。
同意-7.36%
不同意-1.68%
讨论-17.82%
不相关-73.13%
我以这种方式拆分数据:
(将数据集拆分为67/33)
- 火车67%,测试33%
(进一步的80/20分组训练以进行验证)
- 培训80%,验证20%
(然后使用3倍交叉验证集进行分组训练和验证)
顺便说一句,要获得1.68%的不同意和同意非常困难。
这是我遇到的一个问题,因为这对我而言没有任何意义。在80/20拆分中创建的验证集是否也可以按5倍进行分层?
这是我目前所在的位置:
将数据分为67%的训练集和33%的测试集
x_train1,x_test,y_train1,y_test = train_test_split(x,y,test_size=0.33)
x_train2,x_val,y_train2,y_val = train_test_split(x_train1,test_size=0.20)
skf = StratifiedKFold(n_splits=3,shuffle = True)
skf.getn_splits(x_train2,y_train2)
for train_index,test_index in skf.split(x_train2,y_train2):
x_train_cros,x_test_cros = x_train2[train_index],x_train2[test_index]
y_train_cros,y_test_cros = y_train2[train_index],y_train[test_index]
我还要为验证集再次运行skf吗?顺序模型中使用的skf创建的测试测试集在哪里?
对我使用的方法的引用:
索塔,阿斯维尼; Priyanka蒂拉克(Tilak); Simrat Ahluwalia;和Lohia,Nibrat(2018)“伪造新闻检测:一种深度学习方法”,SMU数据科学评论:第1卷。 1:第3条,第10条。 可用位置:https://scholar.smu.edu/datasciencereview/vol1/iss3/10
解决方法
您需要在函数'train_test_split()'中添加另一个参数:
x_train1,x_test,y_train1,y_test = train_test_split(x,y,test_size=0.33,stratify = y)
这将使您平均分配所有目标类别。