火车会自动记录Tensorboard HParams吗?

问题描述

我知道可以将超参数作为字典发送给Trains。

但是它还能自动记录使用TF2 HParams模块记录的超参数吗?

编辑:这是在HParams tutorial中使用hp.hparams(hparams)完成的。

Tensorboard HParams

解决方法

免责声明:我是allegro.ai火车团队的成员

从屏幕抓图中看,似乎有多个运行具有不同的超参数,并显示了平行坐标图。 这等效于使用不同的超参数多次运行相同的基础实验,并将结果与​​Trains Web UI进行比较,到目前为止,效果还不错:)

基于HParam interface,通常必须在代码内使用TensorFlow才能从HP进行采样。您如何将这种方法扩展到多个实验? (这不仅是自动记录hparams,还需要创建多个实验,每个参数集一个)

使用外部优化器进行优化是否更有意义?这样,您可以扩展到多台计算机,并拥有更复杂的优化策略(例如Optuna),您可以在火车examples/optimization中找到一些示例。