具有优势类别的语义分割

问题描述

我正在训练一个由3个类组成的语义分割模型(以背景计数)。 背景是主要类别,问题在于模型将每个像素预测为背景。 我目前正在使用交叉熵损失函数

针对这种情况有什么解决方案?

解决方法

这是典型的图像分割严重不平衡;下面有两种解决该问题的方法。

  1. 使用Jaccard(IoU)亏损或dice loss;例如,您将针对联合上的交集进行优化,而不是针对准确性进行优化,并且事实证明,在出现不平衡问题时,它们比cross_entropy更好。
  2. 您可以尝试使用类别权重(Keras/TF中的样本权重)来为非背景的类别2和3分配更大的重要性。
  3. Focal Loss在MLP或其他深度学习任务中表现出了改进,其中数据集非常不平衡。焦点损失可以与(1)和(3)的损失相结合;它有可能改善您的结果。

您应该期望通过单独使用(1)来获得最佳的性能改进。