如何防止针对我的keras nn的scikit-learn网格搜索每次折叠都变慢？

问题描述

我正在尝试使用scikit-learn的GridSearchCV调整Keras网络的超参数。但是，随着网格搜索的新发展，网格搜索的训练速度会变慢。最后一次测试仅包含2个折叠，每个折叠带有6000个历元。第一折花了10分钟，第二折花了20分钟。我想每个折页的模型都会以某种方式存储，并且耗费太多资源。

我将网格搜索设置为：

gs = GridSearchCV(
          KerasRegressor(build_fn=create_model),params,cv=KFold(n_splits=2,random_state=123,shuffle=True),scoring=['neg_mean_squared_error','r2],refit='neg_mean_squared_error',n_jobs=-1,verbose=3)

使用参数（为了测试速度，我现在只使用了2个参数）：

{'epochs': [6000],'batch_size': [1000]}

并在导入的另一个模块（AI_settings.py）中创建了一个构建函数。我插入了功能 clear_session（），因为我认为这会破坏折叠之间的模型：

def create_model(activationIn='relu',activationOut='linear',optimizer='Adam',dropout_rate=0.0,init='uniform',lr=0.001,hidden_neurons=8,output_neurons=2,count_hidden_layers=2,input_neurons=8,kernel_initializer='normal'
                 ):
    K.clear_session()
    tf.compat.v1.reset_default_graph()
    kerasModel = Sequential()
    kerasModel.add(Dense(
        hidden_neurons,input_dim=input_neurons,activation=activationIn,kernel_initializer=kernel_initializer))
    # kerasModel.add(Dropout(dropout_rate))
    if count_hidden_layers == count_hidden_layers:
        kerasModel.add(Dense(
            hidden_neurons,kernel_initializer=kernel_initializer))
    # output layer with 2 variablesd
    kerasModel.add(Dense(output_neurons,activation=activationOut,kernel_initializer=kernel_initializer))

    if optimizer == 'Adam':
        opt = tf.keras.optimizers.Adam(lr=lr)
    else:
        opt = tf.keras.optimizers.RMSprop(lr=lr)

    kerasModel.compile(optimizer=opt,loss='mse')
    return kerasModel

我还在函数 create_model 上方（在导入的模块AI_settings.py中）添加了以下代码，因为否则，我的keras + scikit-learn和GridSearchCV用 n_jobs =-会用光内存。 1 。内存不足也是我导入功能 create_model 的原因。我读到这可能会有所帮助：

import tensorflow as tf
config = tf.compat.v1.ConfigProto(
     gpu_options = tf.compat.v1.GPUOptions(per_process_gpu_memory_fraction=0.8)
)
config.gpu_options.allow_growth = True
session = tf.compat.v1.Session(config=config)
tf.compat.v1.keras.backend.set_session(session)

我在Windows 10上使用tensorflow 2.1.0，keras 2.3.1和scikit-learn 0.23.2。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）