Segment and Complete: Defending Object Detectors against Adversarial Patch Attacks with Robust Patch Detection

文章链接：https://openaccess.thecvf.com/content/CVPR2022/papers/Liu_Segment_and_Complete_Defending_Object_Detectors_Against_Adversarial_Patch_Attacks_CVPR_2022_paper.pdf

在本文中，我们提出了分段和完整防御（SAC），这是一种通过检测和去除对抗性补丁来保护对象检测器免受补丁攻击的通用框架。我们首先训练一个补丁分割器，它输出补丁掩码，提供对抗补丁的像素级定位。然后，我们提出了一种自我对抗训练算法来增强补丁分割器的鲁棒性。此外，我们设计了一种鲁棒的形状完成算法，如果补丁分割器的输出在真实补丁掩码的一定汉明距离内，则保证从图像中删除整个补丁。

主要贡献

我们提出了一种通过patch分割来防御目标检测器免受patch攻击的通用方法Segment and Complete和一种鲁棒的形状完成算法。对数字攻击和物理攻击进行评估。
SAC在非自适应攻击和自适应攻击下均具有较好的鲁棒性，且对清晰图像的性能不降低，并能很好地推广到不可见的形状、攻击预算和不可见的攻击方法。
我们提出了COT掩码数据集，这是第一个公开可用的数据集，提供物理对抗补丁的像素级注释。

准备工作

目标检测器

本文采用Faster R-CNN作为基本的一项检测器。在第一阶段，使用区域提议网络(rpn)生成类无关的候选对象边界框，称为区域提议;
在第二阶段，使用Fast R-CNN网络输出一个对象类，并细化每个区域提议的边界框坐标。
Faster R-CNN的总损失为rpn与Fast R-CNN的边界盒回归和分类损失之和:

攻击公式化

文章主要考虑针对目标检测器图像和位置的无目标补丁攻击。通过求解以下问题来找到一个对抗补丁：

h:目标检测器

A（x,l,P）:一个“patch applying function”，添加P到l处的x上面

y：对象的真实类和x中对象的边界框标签。

采用PGD攻击来求解Eq2：

方法

SAC通过检测并去除输入图像x中的对抗patch来防御目标检测器对对抗补丁的攻击。

SAC的流程：首先由一个补丁分段器生成初始补丁掩码，然后使用一个健壮的形状完成算法生成最终的补丁掩码。将被掩码图像送入基本对象检测器进行预测

Patch Segmentation

训练和预生成对抗图像

首先利用等式2攻击基础目标检测器，生成一组对抗图像Xadv，然后利用预生成的对抗图像训练 $PS_{\theta}$ （ $PS_{\theta}$ 是一个用 $\theta$ 参数化的补丁分割器）

M代表真实的掩码， $PS_{\theta}(x_{adv})$ 是输出概率图，采用二进制交叉熵损失函数。

Self adversarial training

攻击 $PS_{\theta}$ 来生成对抗补丁 $\widehat{P}_{s-AT}(x,l)$

通过求解下式，在自我对抗训练中训练 $PS_{\theta}$

$\tau$ ：是允许补丁位置的集合 D：图像分布， $\lambda$ 控制干净图像与对抗样本的权重

用等式2生成的patch也可以训练PS，与等式2相比，等式6不需要外部标签，因为真实的掩码M由l确定。
等式7以不需要外部标签的方式训练补丁分割器来制作对抗样本和训练模型。
它加强PS来检测图像中的“patch-like”区域。并且等式6没有涉及物体检测器h，使得PS物体检测器是不可知性的，此外，PS的模型尺寸远小于h，加快了优化速度。