自定义对比损失函数在训练时总是 nan

问题描述

我正在构建我的第一个自定义损失函数，而且我对深度学习也很陌生。我真的不知道去哪里解决我的错误。

我的损失函数基于论文 Dimensionality Reduction by Invariant Mapping。

def contrastive_loss(y_pairs,model_dist):
    margin = 1.5
    loss = (1-y_pairs)*tf.pow(model_dist,2)/2 + y_pairs * tf.pow(tf.math.maximum(0.,margin - model_dist),2)/2
    return loss 

理论上它应该计算相似和不同对之间的平方距离。因此，我的模型的输出是两个输入之间的距离。我在我的模型中使用了一个嵌入层和两个密集层。 距离层计算如下：

dist_layer = layers.Lambda(lambda x: tf.norm(x[0] - x[1],axis=1),name = "dist_layer")
distance = dist_layer([encoded_l,encoded_r])

我的输入中没有任何遗漏，并且还尝试了学习率，但没有任何成功。正如我所说的，我什至不知道去哪里找，所以任何提示都可能会有所帮助！ 提前致谢:)

解决方法

暂无找到可以解决该程序问题的有效方法，小编努力寻找整理中！

如果你已经找到好的解决方法，欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@）