我们可以为未经培训的课程提取VGG16 / 19功能吗

问题描述

我有一个关于为实验提取VGG16 / VGG19功能查询

预先训练的VGG16和VGG19模型已经在ImageNet数据集上进行了训练,该数据集具有1000个类别(例如c1,c2,... c1000),通常我们从指定的第一和第二完全连接层('FC1'和“ FC2”);然后将这4096个维特征向量用于计算机视觉任务。

我的问题是,我们可以使用这些网络来提取不属于上述1000个类别的图像的特征吗?换句话说,我们可以使用这些网络来提取带有标签c1001的图像的特征吗?请记住,c1001不属于最初训练这些网络的Imagenet类。

https://www.pyimagesearch.com/2019/05/20/transfer-learning-with-keras-and-deep-learning/上的文章中,我引用了以下内容-

在进行特征提取时,我们会处理预训练的网络 作为任意特征提取器,允许输入图像 向前传播,停在预先指定的层,并采取 该图层的输出作为我们的功能

从上面的文字来看,图像是否必须属于Imagenet类之一没有任何限制。

请抽出一些时间来揭开这个谜。

在研究论文中,作者只是简单地说,他们使用了从Imagenet数据集上预先训练的VGG16 / VGG19网络提取的特征,而未给出任何进一步的细节。

我正在提供案例研究以供参考:

属性的动物数据集(请参阅https://cvml.ist.ac.at/AwA2/)是非常受欢迎的数据集,具有50种动物类别,可用于图像识别任务。作者已为上述数据集图像提取了ILSVRC预训练的resnet101功能。此resnet 101网络已针对1000个imagenet类进行了预训练(https://gist.github.com/yrevar/942d3a0ac09ec9e5eb3a#file-imagenet1000_clsidx_to_labels-txt上提供了不同的imagenet类)。

此外,AWA类如下:

antelope,grizzly+bear,killer+whale,beaver,dalmatian,persian+cat,horse
german+shepherd,blue+whale,siamese+cat,skunk,mole,tiger,hippopotamus,leopard,moose,spider+monkey,humpback+whale,elephant,gorilla,ox,fox,sheep
seal,chimpanzee,hamster,squirrel,rhinoceros,rabbit,bat,giraffe,wolf,chihuahua,rat,weasel,otter,buffalo,zebra,giant+panda,deer,bobcat,pig,lion,mouse,polar+bear,collie,walrus,raccoon,cow,dolphin

现在,如果将数据集中的类别与1000个Imagenet类进行比较,我们会发现Imagenet中不存在诸如海豚,牛,浣熊,山猫,蝙蝠,海豹,绵羊,马,灰熊,长颈鹿等类仍然,作者继续提取resnet101功能。我相信提取的特征是可概括的,这就是为什么作者将这些特征视为AWA图像的有意义的表示。

您对此有何看法?

想法是获取不属于ImageNet类的图像的表示形式,并将其与标签一起用于其他分类器中。

解决方法

是的,但是可以。

第一个完全连接的层中的功能假设要编码非常通用的图案,例如角度,直线和简单形状。您可以假设可以将其推广到训练过的课程之外。

有一个,但是-发现这些功能是为了最大程度地减少具有1000个类的特定分类任务的错误。这意味着,不能保证它们有助于对任意类进行分类。

,

仅提取特征,您可以在预训练的VGG /其他CNN中输入所需的任何图像。但是,出于培训目的,您必须执行以下其他步骤。

已通过对这1000个类别进行专门训练确定了提取的特征,这些特征属于这1000个类别。您可以使用网络预测不属于这1000个类别的图像,但是在下面的段落中,我解释了为什么这不是理想的方法。

这里要概述的关键点是,提取的设置特征可以用于检测/确定照片中其他对象的存在,但不能用于“就绪” /“开箱即用”。

例如,边和线是与这1000个类别不完全相关的特征,但与其他类别也不相关,因此它们是有用的通用特征。

因此,您可以使用“转移学习”,来训练自己的图像(数据集),例如c1001,c1002,c1003。

但是请注意,在使用网络预测新图像(新类别)之前,您需要先进行自己的训练。转移学习是指使用一组已经收集/学习的功能,这些功能可以适用于其他问题,但是您需要对“新问题”进行培训,例如c1001,c1002,c1003。