在imagenet数据集inceptionv3上预训练的卷积NN在ternsorflow中引发ValueError

问题描述

我试图使卷积神经网络需要在imagenet数据集上进行预训练；为此，我使用inceptionv3作为基本模型，该模型必须位于卷积神经网络的顶部，但是它会引起如下值错误：

ValueError                                Traceback (most recent call last)
<ipython-input-13-b52791a606ee> in <module>()
      6 x = MaxPooling2D(pool_size=(2,2))(x)
      7 x = Flatten()(x)
----> 8 x = Dense(2048)(x)
      9 x = BatchNormalization()(x)
     10 x = Activation('relu')(x)

3 frames
/usr/local/lib/python3.6/dist-packages/tensorflow/python/keras/layers/core.py in build(self,input_shape)
   1166     last_dim = tensor_shape.dimension_value(input_shape[-1])
   1167     if last_dim is None:
-> 1168       raise ValueError('The last dimension of the inputs to `Dense` '
   1169                        'should be defined. Found `None`.')
   1170     self.input_spec = InputSpec(min_ndim=2,axes={-1: last_dim})

ValueError: The last dimension of the inputs to `Dense` should be defined. Found `None`.

从错误消息中，我可以推断出密集输入的尺寸丢失了。我不确定该如何解决？谁能指出我的解决方案吗？有什么想法吗？

我的尝试

这是我目前的尝试

from tensorflow.keras import  models
from tensorflow.keras.layers import Conv2D,MaxPooling2D,BatchNormalization
from tensorflow.keras.layers import Activation,Dropout,Flatten,Dense
from tensorflow.keras.applications.inception_v3 import InceptionV3

base_model = InceptionV3(weights='imagenet',include_top=False)
x = base_model.input
x = Conv2D(32,(3,3),input_shape=x.shape[1:])(x)
x = BatchNormalization(axis=-1)(x)
x = Activation('relu')(x)
x = MaxPooling2D(pool_size=(2,2))(x)
x = Flatten()(x)
x = Dense(2048)(x)
x = BatchNormalization()(x)
x = Activation('relu')(x)
x = Dropout(0.2)(x)
x = Dense(10)(x)
x = Activation('softmax')(x)
outputs = x
model = tf.keras.Model(inputs=x,outputs=outputs,name="cifar10_model")
model.compile(optimizer='rmsprop',loss='categorical_crossentropy',metrics=['accuracy'])
model.summary()

我想在cifar10多类图像分类中使用它。我的目标是，为了权重初始化，我想在imagenet dataset上对卷积NN进行预训练。我不确定如何正确实现这一目标。谁能指出我如何在TensorFlow中做到这一点？有什么想法吗？

思想广泛

如果我们可以进行以上尝试而不会出错，是否可以在上述尝试中添加剩余连接？有什么办法吗？谢谢

解决方法

您的代码似乎存在一些问题。首先，将层连接到Inception模型的输入，而要将层连接到网络的输出。您需要做的第一件事就是改变

x = base_model.input

到

x = base_model.output

接下来，通过打印出每个图层的输出，我们看到在基础模型为(None,None,3)之后，您要馈入每个后续图层的形状。这是因为您尚未为模型定义输入形状。要解决此问题，只需将input_shape参数添加到构造函数中即可。

base_model = InceptionV3(weights='imagenet',include_top=False,input_shape=shape)

最后，当您构建新模型时，模型的输入应为Inception网络的输入。所以你需要改变

model = tf.keras.Model(inputs=x,outputs=outputs,name="cifar10_model")

到

model = tf.keras.Model(inputs=base_model.input,name="cifar10_model")

最后，要添加剩余连接，您可以定义一个自定义层，或进行一些重命名，以便可以将标识层访问到Add()层中。

全职工作

def block(x,filters,stride=1):
    identity = x
    identity = Conv2D(4 * filters,1,strides=stride,padding='same')(identity)
    identity = BatchNormalization()(identity)

    x = Conv2D(4 * filters,(3,3),padding='same')(x)
    x = BatchNormalization()(x)
    x = Activation('relu')(x)

    x = Add()([identity,x])
    x = Activation('relu')(x)
    return x


base_model = InceptionV3(weights='imagenet',input_shape=(224,224,3))
x = block(base_model.output,32,1)
x = BatchNormalization(axis=-1)(x)
x = Activation('relu')(x)
x = MaxPooling2D(pool_size=(2,2))(x)
x = Flatten()(x)
x = Dense(2048)(x)
x = BatchNormalization()(x)
x = Activation('relu')(x)
x = Dropout(0.2)(x)
x = Dense(10)(x)
x = Activation('softmax')(x)
outputs = x
model = models.Model(base_model.input,outputs)

,

预先训练的模型采用输入形状，而不是第一个Conv2D。
试试这个：

base_model = InceptionV3(weights='imagenet',input_shape=x.shape[1:])
x = base_model.input
x = Conv2D(32,3))(x)
...

编辑：如果要保留连接，也许您必须自己实现该层。