通过HParams和Tensorboard进行贝叶斯优化

问题描述

我目前正在使用HParams来发起网格搜索超参数优化会话，该会话运行良好，并且将日志输出到我的张量板HParams插件中，我可以看到各种不同的运行以及Parallel Co-Ordinates视图。代码的结构是这样的，尽管对于这个问题可能没有必要对其进行审查：

def hparam_wrap(args,n_classes,train_dataset,val_dataset,tokenizer):
    log_date_subfolder = time.strftime("%Y%m%d-%H%M%S")
    hparams_dict={
        'HP_EMBEDDING_NODES': hp.HParam('embedding_nodes',hp.Discrete([200,300])),'HP_LSTM_NODES': hp.HParam('lstm_nodes','HP_TIMEDIST_NODES': hp.HParam('timedist_nodes','HP_NUM_DENSE_LAYERS': hp.HParam('num_dense_layers',hp.Discrete([3,4,5])),'HP_DENSE_NODES': hp.HParam('dense_nodes',hp.Discrete([300,400,500])),'HP_LEARNING_RATE': hp.HParam('learning_rate',hp.Discrete([0.001,0.0001,0.00001])),'HP_DROPOUT': hp.HParam('dropout',hp.Discrete([0.3,0.4,0.5,0.6])),'HP_BATCH_SIZE': hp.HParam('batch_size',hp.Discrete([96]))
    }
    session_num = 0
    for en in hparams_dict['HP_EMBEDDING_NODES'].domain.values:
        for ln in hparams_dict['HP_LSTM_NODES'].domain.values:
            for td in hparams_dict['HP_TIMEDIST_NODES'].domain.values:
                for dl in hparams_dict['HP_NUM_DENSE_LAYERS'].domain.values:
                    for dn in hparams_dict['HP_DENSE_NODES'].domain.values:
                        for lr in hparams_dict['HP_LEARNING_RATE'].domain.values:
                            for do in hparams_dict['HP_DROPOUT'].domain.values:
                                for bs in hparams_dict['HP_BATCH_SIZE'].domain.values:
                                    hparams ={
                                        'HP_NUM_DENSE_LAYERS': dl,'HP_LEARNING_RATE': lr,'HP_DROPOUT': do,'HP_DENSE_NODES': dn,'HP_BATCH_SIZE': bs,'HP_EMBEDDING_NODES': en,'HP_LSTM_NODES': ln,'HP_TIMEDIST_NODES': td
                                    }
                                    run_name = "run-%d" % session_num
                                    print('--- Starting trial: %s' % run_name)
                                    print({h: hparams[h] for h in hparams})

                                    log_dir = os.path.join('s3://sn-classification',args.type,'Logs',args.country,args.subfolder,'HParams',log_date_subfolder)

                                    run_hparam(log_dir,hparams,hparams_dict,args,tokenizer)
                                    session_num += 1


def run_hparam(log_dir,tokenizer):
  with tf.summary.create_file_writer(log_dir).as_default():
    hp.hparams_config(
    hparams=list(hparams_dict.values()),metrics=[hp.Metric('val_top_k_categorical_accuracy',display_name='TopK_Val_Accuracy'),hp.Metric('val_loss',display_name='val_loss')]
  )
    # hp.hparams(hparams)  # record the values used in this trial
    hp.hparams({hparams_dict[h]: hparams[h] for h in hparams_dict.keys()})
    history = train(args,tokenizer)
    tf.summary.scalar('val_top_k_categorical_accuracy',history['val_top_k_categorical_accuracy'][-1],step=1)
    tf.summary.scalar('val_loss',history['val_loss'][-1],step=1)

我已经做了大量的谷歌搜索工作，但是我仍然不确定如何实施更有效的优化会话，例如贝叶斯优化，以便更快地找到最优模型。我唯一想知道的是-是否可以在HParams中进行贝叶斯优化，还是需要使用其他程序（如“权重”和“偏差”）？如果可能的话，任何有关在哪里找到这种实现方式示例的建议都将非常有帮助。

解决方法

这是一个长期的 open feature request，遗憾的是目前还没有在 HPARAMS 部分实现，但 Keras-tuner 将允许您记录每次运行的结果。将超参数值编码到这些目录名称中可能是一种快速而肮脏的解决方法。为了将来读者的利益，我在本答案的末尾提供了使用 TensorBoard 进行贝叶斯优化的指南。

我可能要补充一点，TensorBoard 可视化对于使用网格或随机搜索来通知开发人员的手动调整直觉很有用，但由于贝叶斯优化是一个独立的黑盒优化器，您应该能够让它在没有优化的情况下运行本身受到缺乏可视化的影响——尽管我同意这仍然是一个不错的功能。

为了在 TensorFlow 中实现贝叶斯优化并记录每次运行的损失，我为未来的读者提供以下内容：

首先定义一个 HyperParameters 对象 hp。

from kerastuner.engine.hyperparameters import HyperParameters
hp = HyperParameters()

编写一个带参数 model_builder 的 hp 函数，使用 hp.get('name') 将超参数合并到模型中。定义 Keras 调谐器 BayesianOptimization 调谐器。

import kerastuner as kt
tuner = kt.BayesianOptimization(model_builder,hyperparameters = hp,max_trials      = 20,objective       = 'val_loss')

在您的回调中包含 tf.keras.callbacks.TensorBoard(cb_dir) 以在目录 cb_dir 中记录 BaysianOptimiser 每次运行的损失图。这包括针对 epoch 的标量图，但不包括 HPARAMS 部分。您可能希望命名这些运行文件，以便它们列出超参数。

tuner.search(inputs,prices,validation_split = 0.2,batch_size       = 32,callbacks        = [tf.keras.callbacks.TensorBoard(cb_dir)],epochs           = 30)

通过

访问最高n得分超参数组合的字典

ith_best_hp_dict = tuner.get_best_hyperparameters(num_trials = n)[i]