如何在使用功能学习率调度程序的每个时期打印学习率？

问题描述

我使用了自定义学习率调度程序。代码如下（与https://www.tensorflow.org/tutorials/text/transformer#optimizer相同）。

class CustomSchedule(tf.keras.optimizers.schedules.LearningRateSchedule):
   def __init__(self,d_model,warmup_steps=4000):
     super(CustomSchedule,self).__init__()

     self.d_model = d_model
     self.d_model = tf.cast(self.d_model,tf.float32)

     self.warmup_steps = warmup_steps

  def __call__(self,step):
    arg1 = tf.math.rsqrt(step)
    arg2 = step * (self.warmup_steps ** -1.5)

    return tf.math.rsqrt(self.d_model) * tf.math.minimum(arg1,arg2)

我正在使用model.fit。想在每个纪元结束时打印 lr。

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）