如何避免在推理过程中出现重叠的关键点?

问题描述

我一直在使用 Detectron2 来识别每张图像上的 4 个关键点, 我的虚拟数据集包含 1000 张图像,我应用了增强。

def build_train_loader(cls,cfg):
    augs = [
           T.RandomFlip(prob=0.5,horizontal=True),T.RandomFlip(prob=0.5,horizontal=False,vertical=True),T.RandomRotation(angle=[0,180]),T.RandomSaturation(0.9,1.9)
           ]
    return build_detection_train_loader(cfg,mapper=DatasetMapper(cfg,is_train=True,augmentations=augs)
                                    )

我在应用了那些变换之后检查了图像(每种类型的变换都分别进行了测试),看起来效果很好,关键点定位正确。

现在在训练阶段(keypoint_rcnn_R_50_FPN_3x.yaml)之后, 我得到了一些相同的关键点,这意味着在许多图像中关键点重叠, 以下是我的结果中的一些示例:

[[[180.4211,332.8872,0.7105],[276.3517,369.3892,0.7390],366.9956,0.4788],[220.5920,296.9836,0.9515]]]

来自另一张图片:

[[[611.8049,268.8926,0.7576],[611.8049,1.2022],[699.7122,261.2566,1.7348],[724.5556,198.2591,1.4403]]]

我比较了有增强和没有增强的推理结果, 似乎通过增强,关键点几乎没有得到认可。天哪,怎么可能?

有人可以建议任何想法如何克服这些错误吗? 我做错了什么?

谢谢!

我添加了一个指向我的 google colab 笔记本的链接: https://colab.research.google.com/drive/1uIzvB8vCWdGrT7qnz2d2npEYCqOxET5S?usp=sharing

解决方法

暂无找到可以解决该程序问题的有效方法,小编努力寻找整理中!

如果你已经找到好的解决方法,欢迎将解决方案带上本链接一起发送给小编。

小编邮箱:dio#foxmail.com (将#修改为@)