分为测试集和训练集，所有行对应训练集或测试集中的一个属性值组合

问题描述

我的输入文件格式如下：

gold,ProgramName,RequirementID,MethodID,DataTypeName,DataTypeID,FieldMethodownerClass,VariableName,fieldMethodID
Trace,chess,1,boolean,_moveRight,3
Trace,_computerIsWhite,4
NoTrace,2,3
NoTrace,3,4,5,6,7,8,de.java_chess.javaChess.game.Game,50,_game,1
NoTrace,byte,67,KING,353
NoTrace,PAWN,348
NoTrace,348

我希望将我的数据分成训练集和测试集，但我希望将与 的 1 个组合相对应的所有行都放入训练集或测试集。例如，您注意到前 2 行都有 作为 元组的值。我想避免的情况如下：我不想在训练集中有第一行，在测试集中有第二行。我希望将它们都放在训练集中或测试集中。因此，对应于 的一个组合的所有行都应该在训练集中或测试集中。例如，将 作为 值的前两行应该在训练集中，而值为 的第三和第四行应该在测试集中。

这是我正在使用的 Python 代码。正如您所注意到的，它随机分成了一个测试集和一个训练集，这是我不想要的，我希望按照上述规则进行分割：

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import classification_report,confusion_matrix,accuracy_score
import sys


def main():
  
    dataset = pd.read_csv( 'inputFields.txt',sep= ',',index_col=False) 

    #convert Inner,Root,Leaf into 0,2
   
    dataset['ProgramName'] = dataset['ProgramName'].astype('category').cat.codes
    dataset['DataTypeName'] = dataset['DataTypeName'].astype('category').cat.codes
    dataset['VariableName'] = dataset['VariableName'].astype('category').cat.codes
    dataset['gold'] = dataset['gold'].astype('category').cat.codes
    
    pd.set_option('display.max_columns',None)
    
    row_count,column_count = dataset.shape
     
        
    X = dataset.iloc[:,1:column_count].values
    y = dataset.iloc[:,0].values

    print(y)

    X_train,X_test,y_train,y_test = train_test_split(X,y,test_size=0.4,random_state=1)    
    
         
    ################################################################################
       
        
        
    classifier = RandomForestClassifier(n_estimators=400,random_state=0)
    classifier.fit(X_train,y_train)
    y_pred = classifier.predict(X_test)
        
    
        
    print('confusion matrix\n',confusion_matrix(y_test,y_pred))
    print('classification report\n',classification_report(y_test,y_pred))
    print('accuracy score',accuracy_score(y_test,y_pred))     
if __name__=="__main__": 
    
        main()

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）