我们可以归一化从预训练模型中提取的特征吗

问题描述

我正在使用从预先训练的VGG16和VGG19模型中提取功能。这些特征是从上述网络的第二个完全连接层(FC2)中提取的。

所得的特征矩阵(尺寸为(8000,4096))的值在[0,45]范围内。结果,当我在基于梯度的优化算法中使用此特征矩阵时,损失函数,梯度,范数等的值会非常高。

为了消除如此高的值,我将MinMax规范化应用于此特征矩阵,从那时起,这些值是可管理的。此外,优化算法的行为也正确。我的策略是否可以,即对从预先训练的模型中提取的特征进行规范化是否足够公平?

解决方法

根据经验,只要您知道结果来自标准化值这一事实,就可以了。如果规范化可以帮助您更好地显示渐变色,范数等,那么我支持。

我要谨慎的是,对那些特征矩阵进行归一化而不是真实值的任何进一步分析。说,如果您要研究分布等,则应该没问题,但是我不确定下一步是什么,是否会有害。 您能否分享有关“进一步分析”的更多详细信息?