在CNN keras / tensorflow2.0中创建LOOCV时的预测跟踪警告消息

问题描述

我试图编写一个自定义的for循环，以便使用tensorflow 2.0和Keras API执行LOOCV。我正在测试CNN回归，其中每个值都由12个分子图像表示。

我的数据集包含来自42个分子的504张图像，看起来像这样：

    file                value   intrain
0   mol1_scan0.bmp      6.456   True
1   mol1_scan30.bmp     6.456   True
2   mol1_scan60.bmp     6.456   True
3   mol1_scan90.bmp     6.456   True
4   mol1_scan120.bmp    6.456   True
... ... ... ...
499 mol42_scan210.bmp   6.244   True
500 mol42_scan240.bmp   6.244   True
501 mol42_scan270.bmp   6.244   True
502 mol42_scan300.bmp   6.244   True
503 mol42_scan330.bmp   6.244   True

我的目标是创建一个LOOCV，在该循环的每个步骤中，一次设置12张图像作为验证，这12张图像必须属于同一分子。这由“培训”列控制。

负责创建LOOCV和运行CNN的循环如下：

    for lo in range(mols):
    loo = lo+1
    t0= time.time()
    vald = np.repeat(True,mols)
    vald[loo] = False
    vals = []
    for p in range(mols):
        vals.extend(np.repeat(vald[p],views))
    data = pd.DataFrame({'file':paths,'valor':ys,'train':vals})
    train = data[data.train==True]
    validation = data[data.train==False]
    print(f'##### Executing step {loo} out of {mols} ##### {datetime.now()}')
    datagen = ImageDataGenerator(rescale=1/255.)
    train_generator = datagen.flow_from_dataframe(dataframe=train,directory=original_train,color_mode="grayscale",x_col='file',y_col='valor',target_size=(200,220),class_mode='raw',batch_size=32)
    validation_generator = datagen.flow_from_dataframe(dataframe=validation,batch_size=32,shuffle = False)
    model = Sequential()
    model.add(Conv2D(32,(3,3),activation='relu',input_shape=(200,220,1)))
    model.add(MaxPool2D((2,2)))
    model.add(Conv2D(64,activation='relu'))
    model.add(MaxPool2D((2,2)))
    model.add(Conv2D(128,2)))
    model.add(Flatten())
    model.add(Dense(220,activation='relu'))
    model.add(Dropout(0.5))
    model.add(Dense(1))
    model.compile(loss='mse',optimizer = 'Adam')
    train_steps = train_generator.n//train_generator.batch_size
    validation_steps = validation_generator.n//validation_generator.batch_size
    history = model.fit(train_generator,steps_per_epoch=train_steps,epochs=1,verbose=0,validation_data=validation_generator,validation_steps=validation_steps)
    Y_pred = model.predict(validation_generator,validation_generator.n // (validation_generator.batch_size+1))
    Y_pred = Y_pred.flatten()
    Y_true = validation_generator.labels
    Y_lab = np.repeat(loo,12)
    plotagem = pd.DataFrame({'yobs':Y_true,'ypred':Y_pred,'ylab':Y_lab})
    plotagemFinal = pd.concat([plotagemFinal,plotagem])
    t1 = time.time() - t0
    print(f'##### Finalized step {loo} out of {mols} ##### ({datetime.now()} - {round(t1/60,2)} min)\n') 

运行此命令时，我收到一条警告消息，指示已触发跟踪...

警告：tensorflow：在对的最后7次调用中，有7次触发了tf.function跟踪。跟踪非常昂贵，并且跟踪的数量过多可能是由于（1）在循环中重复创建@ tf.function；（2）传递了具有不同形状的张量；（3）传递了Python对象而不是张量。对于（1），请在循环外部定义@ tf.function。对于（2），@ tf.function具有experimental_relax_shapes = True选项，它放宽了参数形状，可以避免不必要的跟踪。对于（3），请参阅https://www.tensorflow.org/tutorials/customization/performance#python_or_tensor_args和https://www.tensorflow.org/api_docs/python/tf/function了解更多详细信息。

我发现问题仅是由以下原因引起的：

Y_pred = model.predict（validation_generator，validation_generator.n //（validation_generator.batch_size + 1）

我试图通过遵循警告和其他各种解决方案提供的技巧来修复此问题，主要是尝试将预测设置为循环外，但是似乎没有一个解决我的问题。

有人解决过这种问题吗？

我非常感谢您不仅对这个警告问题，而且对整个问题有任何帮助或提示。

谢谢！

解决方法

我的代码正在加载模型和运行中的预测，并且我收到类似警告的消息。

警告：tensorflow：在对的最后11次调用中，有11次触发了tf.function跟踪。跟踪非常昂贵，并且跟踪的数量过多可能是由于（1）在循环中重复创建@ tf.function；（2）传递了具有不同形状的张量；（3）传递了Python对象而不是张量。对于（1），请在循环外部定义@ tf.function。对于（2），@ tf.function具有experimental_relax_shapes = True选项，它放宽了参数形状，可以避免不必要的跟踪。对于（3），请参阅https://www.tensorflow.org/tutorials/customization/performance#python_or_tensor_args和https://www.tensorflow.org/api_docs/python/tf/function了解更多详细信息。

我放了

tf.compat.v1.disable_eager_execution()

加载模型后，在预测前面的

。神奇地，警告消息消失了。这是来自Tensorflow 2.0: custom keras metric caused tf.function retracing warning

的提示

我的代码如下：

import tensorflow as tf
from tensorflow import keras
from tensorflow.keras import layers
import matplotlib.pyplot as plt
import numpy as np 
from tensorflow.keras.preprocessing import image
import time

tstart = time.time()
reconstructed_model = keras.models.load_model("my_model2")

tf.compat.v1.disable_eager_execution()
image = image.load_img("testimages/1404.jpg",target_size = (28,28))
# image.show()
input_arr = keras.preprocessing.image.img_to_array(image)
input_arr = np.array([input_arr])  # Convert single image to a batch.
result = reconstructed_model.predict(input_arr)

print(result)
print(result[0][0])
print(result[0][1])
# training_set.class_indices
if result[0][1] > 0.9:
    prediction = 'This is a z-pattern'
else:
    prediction = 'This is not a z-pattern'
print(prediction)
print ('display FPS:',(time.time()-tstart)*1000,"msec")