在训练期间根据标量更改超参数

问题描述

我正在训练使用张量流并将值记录到张量板的模型。基于这些值，我想调整超参数（在代码中）。例如，人们可能会考虑根据损失来切换到其他损失函数，或更改损失函数中的系数。

找到某种方法并不难：一种方法是简单地：

1. 积极执行工作
2. 将我要记录的标量也保存到tensorboard到python列表中
3. 在批次之间对这些列表进行计算
4. 根据这些计算执行不同的渴望的张量流逻辑或分配不同的超参数

有没有一种更惯用的方法？例如，最好这样做：

• 不必自己将所有这些标量保存到python列表中。可以以一种高性能的方式从张量板上检索它们吗？
• 使用tf.function api以获得更好的性能

我找到了Change Hyperparameters on an ongoing simulation of TensorFlow，但它与tensorflow 1.x有关，并且不使用来自tensorflow的任何信息进行更改。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）