SMOTE在适合大型数据集的同时给出内存错误

编程问答 2022-08-16

问题描述

我正在尝试使用SMOTE对不平衡的数据集执行过采样。我有大约30000行和100列作为我的特征向量，并且目标变量是分类的。大约有1000个不同的类别变量。我正在使用SMOTE对少数类进行过采样，但是却遇到了内存错误。追溯看起来像这样。有关如何解决此问题的任何建议：

from imblearn.over_sampling import SMOTE
smote = SMOTE(sampling_strategy='minority',random_state = 0)       
smote_Xtrain,smote_y_train = smote.fit_sample(X_train,y_train) 
Traceback (most recent call last):

  File "<ipython-input-4-af2c9b0036f6>",line 3,in <module>
    smote_Xtrain,y_train)

  File "C:\Users\fazco\Anaconda3\lib\site-packages\imblearn\base.py",line 83,in fit_resample
    output = self._fit_resample(X,y)

  File "C:\Users\fazco\Anaconda3\lib\site-packages\imblearn\over_sampling\_smote.py",line 722,in _fit_resample
    X_resampled = [X.copy()]

MemoryError

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）

machine-learningmemory-managementnlppythonsmote