您如何构建CNN自动编码器？

问题描述

我有许多文档图像，我想将它们聚类以创建类别（发票，收据等）。我想探索图像方法（我知道我可以使用文本），所以我决定构建一个CNN自动编码器，将尺寸压缩到较低的空间，然后运行像DBSCAN这样的聚类算法。

我的问题是我不知道如何选择网络层和不同的激活功能等。这是我目前的模型，您怎么看？

model = Sequential()

model.add(Conv2D(16,(3,3),strides=2,padding='same',kernel_regularizer = l2(),input_shape=image_rgb_dims_top))
model.add(LeakyReLU(alpha=0.2))
#model.add(AveragePooling2D(pool_size=(2,2),padding='same'))

model.add(Conv2D(32,kernel_regularizer = l2()))
model.add(LeakyReLU(alpha=0.2))
#model.add(AveragePooling2D(pool_size=(2,padding='same'))


model.add(Flatten())
model.add(Dense(96,activity_regularizer=l1(10e-6)))
model.add(Dense(np.prod(model.layers[-2].output_shape[1:]),activation='relu'))
model.add(Reshape(model.layers[-4].output_shape[1:]))

model.add(Conv2DTranspose(32,strides=(2,padding='same'))
model.add(LeakyReLU(alpha=0.2))
#model.add(UpSampling2D((2,2)))

model.add(Conv2DTranspose(16,2)))

model.add(Conv2D(1,padding='same'))
model.add(Activation('sigmoid'))

Model: "sequential"
_________________________________________________________________
Layer (type)                 Output Shape              Param #   
=================================================================
conv2d (Conv2D)              (None,20,76,16)        160       
_________________________________________________________________
leaky_re_lu (LeakyReLU)      (None,16)        0         
_________________________________________________________________
conv2d_1 (Conv2D)            (None,10,38,32)        4640      
_________________________________________________________________
leaky_re_lu_1 (LeakyReLU)    (None,32)        0         
_________________________________________________________________
flatten (Flatten)            (None,12160)             0         
_________________________________________________________________
dense (Dense)                (None,96)                1167456   
_________________________________________________________________
dense_1 (Dense)              (None,12160)             1179520   
_________________________________________________________________
reshape (Reshape)            (None,32)        0         
_________________________________________________________________
conv2d_transpose (Conv2DTran (None,32)        9248      
_________________________________________________________________
leaky_re_lu_2 (LeakyReLU)    (None,32)        0         
_________________________________________________________________
conv2d_transpose_1 (Conv2DTr (None,40,152,16)       4624      
_________________________________________________________________
leaky_re_lu_3 (LeakyReLU)    (None,16)       0         
_________________________________________________________________
conv2d_2 (Conv2D)            (None,1)        145       
_________________________________________________________________
activation (Activation)      (None,1)        0         
=================================================================
Total params: 2,365,793
Trainable params: 2,793
Non-trainable params: 0
_________________________________________________________________

我使用MSE和Adam优化器。

我遇到的问题是：

• 该模型适合数据集中存在的图像，因此当它们之间的差异很小时（只是添加了一个小的徽标，并且将其视为新的群集），该模型会为该文档的同一类型创建许多类别。
• 较少显示的图像学习不够，我得到的输出非常模糊，并且大多数图像通过DBSCAN聚类为-1。

任何想法如何使模型更有效？我不希望它过拟合，但它却无法拟合某些图像。

要使用哪些良好的层/激活功能/稳压器？我应该增加压缩的表示大小还是减小压缩的表示大小？基准测试网络变化的影响是非常困难的，我所能做的就是运行dbscan聚类并查看输出类，但这仍然取决于dbscan epsilon参数，因此我不知道模型是否做得很好或不是。

解决方法

您可以尝试很多方法，在实际尝试之前很难知道它是否有效。

我将首先解决您明确指出的问题。

“该模型适合数据集中最存在的图像”

• 您可以尝试使用较大的数据集，或者如果不能，则可以使用较小的模型。
• 您可以尝试使用预训练的模型并对其进行转学。
• 您可以尝试提前停止。

“显示较少的图像不够充分”

• 您可以尝试使用不偏向特定数据集的数据集 课程。

“要使用哪些好的层/激活功能/稳压器？”

• 对于激活功能，ReLU及其变体最有效。
• 您可以使用不同的层及其组合。您为什么不尝试使用现代的SOTA（最先进的）CNN网络的体系结构作为参考？ （您可以在Here上轻松找到其中的一些）

“这是我目前的模型，您怎么看？”

• 至少，该体系结构看起来很旧。如果运作良好，那就很好。但是，如果需要，请尝试使用前面提到的现代SOTA体系结构。

“我应该增加压缩的表示尺寸还是减小它？”

• 目前尚不清楚。您应该同时尝试并选择性能更好的方法。

您也可以尝试不同的训练方法！ 手动标记所有图像将是一场噩梦，因此您可以尝试标记其中一些图像并进行半监督学习。例）SimCLR

否则，您可以搜索有关文档图像分类的研究并将其用作参考。

希望答案有所帮助！