问题描述
我对相似性学习的概念很陌生。我目前正在使用 Siamese 神经网络为 Wild Dataset 中的 Labeled Faces 做一个人脸识别模型。
Siamese Network Model 的代码(将每个代码片段视为 Colab 中的一个单元格):
from keras.applications.inception_v3 import InceptionV3
from keras.applications.mobilenet_v2 import MobileNetV2
from keras.models import Model
from keras.layers import Input,Flatten
def return_inception_model():
input_vector=Input((224,224,3))
subnet=InceptionV3(include_top=False,weights="imagenet",input_tensor=input_vector)
out=subnet.output
out=Flatten()(out)
model=Model(subnet.input,out,name="SubConvNet")
return model
import keras.backend as K
def euclidean_distance(vect):
x,y=vect
return K.sqrt(K.maximum(K.sum(K.square(x - y),axis=1,keepdims=True),K.epsilon()))
def contrastive_loss(y_true,y_pred):
margin = 1
return K.mean(y_true * K.square(y_pred) + (1 - y_true) * K.square(K.maximum(margin - y_pred,0)))
def accuracy(y_true,y_pred):
return K.mean(K.equal(y_true,K.cast(y_pred < 0.5,y_true.dtype)))
from keras.layers import Lambda
base_model=return_inception_model()
left_input=Input((224,3))
right_input=Input((224,3))
feature_1=base_model(left_input)
feature_2=base_model(right_input)
lambda_layer= Lambda(euclidean_distance)([feature_1,feature_2])
output=Dense(1,activation='sigmoid')(lambda_layer)
model=Model([left_input,right_input],output)
model.summary()
Model: "model"
__________________________________________________________________________________________________
Layer (type) Output Shape Param # Connected to
==================================================================================================
input_2 (InputLayer) [(None,3) 0
__________________________________________________________________________________________________
input_3 (InputLayer) [(None,3) 0
__________________________________________________________________________________________________
SubConvNet (Functional) (None,51200) 21802784 input_2[0][0]
input_3[0][0]
__________________________________________________________________________________________________
lambda (Lambda) (None,1) 0 SubConvNet[0][0]
SubConvNet[1][0]
__________________________________________________________________________________________________
dense (Dense) (None,1) 2 lambda[0][0]
==================================================================================================
Total params: 21,802,786
Trainable params: 21,768,354
Non-trainable params: 34,432
from keras.utils.vis_utils import plot_model
plot_model(model,to_file='model_plot.png',show_shapes=True,show_layer_names=True)
from keras.optimizers import SGD,RMSprop,Adam
optimizer=Adam(lr=0.00001)
model.compile(loss=contrastive_loss,metrics=[accuracy],optimizer=optimizer)
model.fit(x=[[train_nparr_pairs[:,0],train_nparr_pairs[:,1]]],y=train_labels[:],validation_data=([[test_nparr_pairs[:,test_nparr_pairs[:,test_labels[:]),epochs=64,use_multiprocessing=True)
Epoch 56/64
69/69 [==============================] - 8s 118ms/step - loss: 0.5132 - accuracy: 0.4868 - val_loss: 0.5000 - val_accuracy: 0.4883
Epoch 57/64
69/69 [==============================] - 8s 118ms/step - loss: 0.5044 - accuracy: 0.4956 - val_loss: 0.5000 - val_accuracy: 0.4883
Epoch 58/64
69/69 [==============================] - 8s 118ms/step - loss: 0.5064 - accuracy: 0.4936 - val_loss: 0.5000 - val_accuracy: 0.4883
Epoch 59/64
69/69 [==============================] - 8s 118ms/step - loss: 0.4806 - accuracy: 0.5194 - val_loss: 0.5000 - val_accuracy: 0.4883
Epoch 60/64
69/69 [==============================] - 8s 118ms/step - loss: 0.4843 - accuracy: 0.5157 - val_loss: 0.5000 - val_accuracy: 0.4883
Epoch 61/64
69/69 [==============================] - 8s 117ms/step - loss: 0.5060 - accuracy: 0.4940 - val_loss: 0.5000 - val_accuracy: 0.4883
Epoch 62/64
69/69 [==============================] - 8s 119ms/step - loss: 0.5048 - accuracy: 0.4952 - val_loss: 0.5000 - val_accuracy: 0.4883
Epoch 63/64
69/69 [==============================] - 8s 119ms/step - loss: 0.5110 - accuracy: 0.4890 - val_loss: 0.5000 - val_accuracy: 0.4883
Epoch 64/64
69/69 [==============================] - 8s 119ms/step - loss: 0.5118 - accuracy: 0.4882 - val_loss: 0.5000 - val_accuracy: 0.4883
在输出中,您可以注意到整个会话中的损失和准确度是相同的。 val_loss 的值正好是 0.5。此外,val_accuracy 在整个会话期间保持不变。我已经对图像进行了标准化,但仍然会发生这种情况。这个输出背后有什么原因吗?
解决方法
首先,您可以轻松地将准确度作为指标删除,因为它与您的情况无关(至少在 Keras
计算准确度的方式中)。
在 Siamese Networks 中,计算准确度的方法是根据您的任务选择一个阈值,比如 T
,如果两个图像相同且 similarity index >= T
,则你认为一个好的预测 => +=1,否则不要增加计数。
但这与 Keras
所做的不同,accuracy > 0.5
被认为是 True Positive,您可以将其完全删除,因为 Keras 中的内置准确度指标仅适用于典型的分类问题.
这是第一部分。
第二部分是您的权重没有相应更新。这是因为您像这样声明了优化器:optimizer=Adam(lr=0.1)
。在这种情况下,学习率太高了,尤其是当我们谈论的是迁移学习时,您使用预训练的 InceptionV3 应用了什么。
总结:
- 删除作为指标的准确性。
- 实例化
optimizer=Adam(lr=0.00001)