使用自动编码器的编码器部分压缩数据会产生不稳定的分类结果

问题描述

我有一个包含 11 个类的数据集,我正在使用自动编码器的编码器部分进行降维,从 115 个特征到 15 个特征,我已经在完整数据集上训练了自动编码器,然后将编码器保存为 h5 文件,然后,我将编码器导入到另一个项目中,我应该将数据集全部压缩,但是我没有足够的 RAM 来执行此操作(csv 文件太大),所以我压缩了属于每个类的数据拥有并将压缩数据集保存到 csv 文件,所以我最终得到 11 个 csv 文件,每个文件代表属于一个类的压缩数据,之后我将压缩的 csv 文件导入我的项目并将它们连接到一个数据帧中,然后我对它们进行混洗并使用 MLP 进行了分类,我得到了非常好的结果,一段时间后我设法获得了更多的内存,所以我再次进行了降维部分,这次我对完整数据集进行了混洗,然后用编码器对其进行了压缩,然后进行了分类 ag嗯,这次结果很糟糕,我什至试图让编码器不可训练(因为我认为它的参数可能正在改变),但我仍然得到了同样糟糕的结果。

我的问题是:当我单独压缩每个攻击然后将压缩的数据连接到一个数据帧中时,我得到了很好的结果,但是当我一次压缩包含所有类的完整数据集时,我得到了使用相同编码器的结果不佳。

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)