问题描述
我正在训练一个神经网络，我希望两个矩阵相似（协方差矩阵）。我天真的方法是根据差异使用损失，例如 L1 损失。但这也迫使矩阵变小，这不是我想要的。
这里有人有想法吗？
非常感谢！
解决方法
您可以使用许多指标（欧几里德距离、余弦相似度、非负特征的 Bhattacharyya 相似度、Jensen-Shannon 散度）。
余弦相似度似乎是一个很好的起点。您可以通过考虑 n x m 维空间中的两个 n*m 矩阵来实现这一点。并且，比较这两个向量的余弦相似度。
实际上，这可以使用 torch.flatten 和 torch.nn.functionnal.cosine_similarity 来完成。或者等效地使用 nn.Flatten 层和 nn.CosineSimilarity。
这里我采用了功能路线：
>>> x = torch.rand(1,10,10)
>>> y = torch.rand(1,10)
>>> F.cosine_similarity(torch.flatten(x,1),torch.flatten(y,1))
tensor([0.6220])
请注意，您将需要一个额外的批次维度：axis=0。
编辑 - 如果您不使用批处理，您可以简单地将两个张量广播到一维张量：
>>> F.cosine_similarity(x.reshape(1,-1),y.reshape(1,-1))