对抗样本生成及攻防技术研究

发布时间：2022-02-11 23:24

　　基于对抗样本的攻击方法是机器学习算法普遍面临的安全挑战之一。以机器学习的安全性问题为出发点,介绍了当前机器学习面临的隐私攻击、完整性攻击等安全问题,归纳了目前常见对抗样本生成方法的发展过程及各自的特点,总结了目前已有的针对对抗样本攻击的防御技术,最后对提高机器学习算法鲁棒性的方法作了进一步的展望。 

【文章来源】：计算机应用研究. 2020,37(11)北大核心CSCD

【文章页数】：6 页

【部分图文】：

雅可比显著图

图3 雅可比显著图然而，JSMA同样要求模型和目标函数的梯度可求解，而且，使用贪婪算法进行显著性像素点的寻找，意味着该算法实际上是限定在l0距离下的对抗样本，导致无法采用其他距离算法生成对抗样本[28]。

Deepfool[28]是针对l2距离算法优化的非目标性攻击。如图5所示，(b)为Deepfool生成的对抗样本图像和对应的扰动，(c)为快速梯度符号法生成的对抗样本图像和对应的扰动，可以看出Deepfool产生的扰动更小。该方法先假设神经网络是完全线性的，转换为超平面将每个类别分开，从分析上推导出这个问题的最优解，同时生成了与之对应的对抗样本。实际上，神经网络并不是线性的，初始问题需要被继续分解，直到满足分段线性，然后再重复这个过程[28]。最终当分段搜索结束时，才会得到问题的最优解，进而生成一个真正的对抗样本。该算法实际上是限定神经网络下的超平面问题，在非神经网络模型上的应用相当有限，算法的通用性较低，需要大量时间分析模型的特性。

【参考文献】：
期刊论文
[1]基于粒子群优化的对抗样本生成算法[J]. 钱亚冠,卢红波,纪守领,周武杰,吴淑慧,云本胜,陶祥兴,雷景生.  电子与信息学报. 2019(07)
[2]面向中文文本倾向性分类的对抗样本生成方法[J]. 王文琦,汪润,王丽娜,唐奔宵.  软件学报. 2019(08)
[3]黑盒威胁模型下深度学习对抗样本的生成[J]. 孟东宇.  电子设计工程. 2018(24)
[4]DroidGAN:基于DCGAN的Android对抗样本生成框架[J]. 唐川,张义,杨岳湘,施江勇.  通信学报. 2018(S1)
[5]一种面向人脸活体检测的对抗样本生成算法[J]. 马玉琨,毋立芳,简萌,刘方昊,杨洲.  软件学报. 2019(02)



本文编号：3621127