原文标题:Phantom: Untargeted Poisoning Attacks on Semi-Supervised Learning原文作者:Jonathan Knauer, Phillip Rieger, Hossein Fereidooni, Ahmad-Reza Sadeghi原文链接:https://doi. org/10.1145/3658644.3690369发表会议:CCS笔记作者:李智宇@安全学术圈主编:黄诚@安全学术圈编辑:张贝宁@安全学术圈
1 背景介绍
半监督学习(SSL)是一种结合少量标记数据和大量未标记数据来训练机器学习模型的方法。本文着重提出了在图像应用中表现极佳的三种算法:MixMatch、UDA、FixMatch。
MixMatch 会为每个未标记样本(即图像)生成多个增强版本,对预测结果进行平均以获得对标签概率分布的预测,并通过锐化操作以增强高置信度类别的概率,抑制低置信度类别。
UDA 与 MixMatch 的区别在于其使用了不同类型的增强。通过弱增强生成伪标签,强增加计算损失,并结合了高置信度筛选。
FixMatch 在 UDA 的基础上,舍弃了通过锐化猜测标签的概率分布,而选择得分最高的标签,并使用该标签的独热编码。
目标投毒攻击(Targeted Poisoning)针对特定目标类别,而保持对良性数据的分类准确性,可分为固定样本攻击和触发式攻击两个子类别。
无目标投毒攻击(Untargeted Poisoning)会全面降低模型在所有输入上的性能,使其准确率降至朴素模型水平。在此类攻击中,要么攻击成功,要么模型在良性训练数据上表现良好。
假设攻击者执行黑盒攻击,并且攻击者无法直接验证攻击是否成功,须通过模拟以估计其有效性。在此场景下,本文提出的无目标投毒攻击面临以下四个挑战:
如何通过少量未操纵样本对训练算法从大量良性样本中获益的能力产生负面影响?
如何操纵样本以逃避人类的检测,同时有效地干扰 SSL 训练算法?
如何使 SSL 算法为被操纵的样本生成错误的标签,同时又不大幅改变样本?
如何仅使用少数样本就能对抗大多数良性样本?
2 动机研究
本文提出 Phantom 攻击的主要动机源于 SSL 算法早期对带标签数据严重依赖,导致深度神经网络(DNN)在标记数据上过拟合,从而造成了两个后果:
当未标记样本 𝑢 含有带标签数据集 𝒳 中标签 𝑙 的人工痕迹(如微弱阴影)时,模型误将 𝑢 归类为 𝑙 ,忽略其真实类别。
模型对与 𝒳 相似的样本会持续高置信预测,形成错误正反馈。
3 研究方法
Phantom 攻击的基本原理是通过隐蔽污染未标记数据,利用 SSL 的伪标签生成机制“反向训练”模型,使其越训练性能越差。 下图展示了制作操纵样本的示例过程:
生成的操纵样本由两部分或两层叠加而成,即原始图像和阴影(称为“中毒模式”)。其中,“PV”指模式可见性,该参数用于控制常规样本和中毒模式的组合比例。生成的图像包含一条蛇的原始图像,以及作为中毒模式的猫和老虎的微弱阴影。
解决挑战1。DNN 因过度拟合标记数据,对相似特征(微弱阴影)高度敏感。以上图为例,DNN 模型的过拟合导致 DNN 关注猫和老虎,使得这个微弱的阴影足以将这张图片分类为猫(或老虎)。
解决挑战2。通过利用常规样本来构建操纵样本,生成的样本看起来更不令人怀疑,并且人类几乎无法察觉。以上图为例,中毒模式的叠加非常微弱,因此人眼无法察觉。
解决挑战3。早期训练阶段,模型已经纳入与标签数据集相似的样本,导致污染样本被错误标记,进而影响后续对良性数据的标签预测。以上图为例,在早期阶段,DNN 无法识别任意物体,而是学习识别来自带标记数据集的特定图像,因此,被操纵的图像要么被标记为猫,要么被标记为老虎。
解决挑战4。错误标签导致 DNN 将原始图像错误关联,破坏了模型对真实数据的识别能力,阻碍其从非操纵数据中正确学习。以上图为例,DNN 将被训练识别蛇图像为猫或老虎,因为中毒模式与蛇相比几乎不可见。
4 实验评估
4.1 实验设置
研究者使用了6个不同的数据集:CIFAR-10、MNIST、SVHN、GTSRB、ImageNet、STL-10。具体配置如下图所示:
4.2 性能测试
如下表所示,Phantom 攻击对 MixMatch 、UDA 和 FixMatch 算法在 CIFAR-10 和 STL-10 上表现出了显著的破坏性:仅5%的PDR(投毒数据率)即可使 MixMatch 和 UDA 在 CIFAR-10上 的准确率下降10%,STL-10 上平均下降4%;随着PDR增加,MixMatch准确率最低降至23.77%,UDA降至46.85%,而FixMatch降至36.11%。相较于基线方法,如替换50%样本为空图像或直接移除样本,仅使 FixMatch 准确率降至74%-75%,Phantom 攻击的破坏力更为突出,使FixMatch准确率骤降至36%,甚至接近仅使用10%标记数据训练的模型性能。结果表明,Phantom 有效地破坏了所有六个数据集的学习过程,证明了其普遍适用性。
4.3 案例研究
为了评估 Phantom 攻击在真实场景中的有效性,研究者将经过篡改的图像上传到了 Facebook、Instagram 和 Pinterest 三个真实的社交媒体平台。由下表可知,该攻击对三个社交网络获取的数据均有效。UDA算法受影响较小,Facebook 数据准确率仅下降5%,Instagram 下降7%,而 FixMatch 算法在 Instagram 上表现脆弱,准确率大幅下降25%以上。
5 总结
本文提出了 Phantom,一种针对半监督学习(SSL)的无目标投毒攻击。攻击通过向无标签数据集注入含中毒模式的样本,利用 SSL 模型早期对标记数据的过拟合特性,误导其基于阴影而非真实内容预测标签。实验证明,仅需污染一小部分数据,就足以造成5%到10%的准确率下降。并且无需攻击者了解训练算法或超参数,与其它针对 SSL 的投毒攻击相比,Phantom 攻击更加简单而高效。
此外,该攻击不局限于图像领域,而是具有普遍适用性,唯一的要求是能够将一个带标签的样本与其他样本组合。通过对三个真实社交网络进行的案例研究展示了 Phantom 带来的风险。因此,在不损害原始数据有效性和完整性的前提下,擦除该模式或将注入的中毒模式从原始图像中分离出来,会成为未来研究的重点。
安全学术圈招募队友-ing有兴趣加入学术圈的请联系secdr#qq.com
专题最新征文
期刊征文 | 暗网抑制前沿进展(中文核心)
期刊征文 | 网络攻击分析与研判(CCF T2)
期刊征文 | 域名安全评估与风险预警(CCF T2)