1.一种考虑数据隐私的视觉分类网络对抗补丁生成方法,其特征在于:其步骤是:S1.目标攻击网络的选择:选择需要进行安全漏洞检测的视觉网络作为目标攻击网络,d给定训练数据集 内的任一图片X∈[0,1] 及其实际类别的数字编码y∈{1,2,...,m},分类网络 根据下式对X分类:其中 表网络 对输入图片X的估计类别; 表示m维向量 的第j个分量,代表 对X属于第j类的置信度;
S2、可用数据集的采集:采集公开视觉数据集作为一组可用数据集 以期从中选出合适的代理数据集 用于代替训练数据集 为对抗补丁生成提供背景图片;
S3、基于APS指标的代理数据集选择,包括以下过程:根据下式进行代理数据集选择:
其中, 为所选代理数据集; 是本发明设计的代理数据集选择指标APS;
代表选择网络 为目标攻击网络时,基于数据集 生成补丁的平均攻击性能;
分别计算可用数据集 ...的APS值,并选择APS值最大的数据集作为代理数据集具体步骤如下:S3.1、EoT算法的对抗补丁组生成以均匀随机噪声初始化m个补丁{P1,P2,...,Pm},逐一将初始化补丁作为输入,并利用从 采样得到的图片,生成对抗补丁 其中, 的目标类别{y'1,y'2,...,y'm}与目标攻击分类网络 的类别编码{1,2,...,m}一一对应相等;
*
对抗补丁P的生成可转化为
n
其中,补丁P∈[0,1]的维度n远小于 中图片 的维度d;y'为补丁的目标类别;Z表示补丁在图像内所有可能位置的集合,z为从Z中均匀随机采样得到的位置;R集合表示物理场景中可能存在于补丁上的自然变换的集合,r为从R中均匀随机采样得到的自然变换;
目标函数 的定义为:
d
表示网络预测扰动图像XP属于目标类别y'的负对数概率值;扰动图片XP∈[0,1]为:其中 为将补丁P粘贴在原始图片X上的粘贴操作函数;粘贴操作首先会利用自然变换r对补丁P进行变换,其中r=(r1,r2,...),补丁变换包括将补丁旋转 度、放缩 倍等;接着,粘贴操作会将变换补丁P'粘贴到图像X的位置z上,其中z=(z1,z2),得到扰动图片XP,其中(z1,z2)为P'在图片X中位置的横纵坐标;
选择EoT算法对公式(3)对应的优化问题进行求解,EoT算法中 为投影算子,可视为如下优化问题的求解:EoT算法:
输入:数据集 位置集合Z,自然变换集合R,目标类别y',扰动更新步长α,粘贴操作函数 目标函数 投影算子 总迭代次数T;
*
输出:对抗补丁P
0
1.利用范围为[0,1]的均匀随机噪声初始化补丁P,t←0
2.for t<T do
3.
4.
5.
6.
7.t←t+1
8.end for
* T
9.P←P
10.return C
S3.2、APS的获得
利用生成的对抗补丁组 依据下式计算数据集 的APS值:其中, 为补丁攻击性能衡量指标‑‑‑‑‑‑‑Patch Saliency;
*
对抗补丁P的PS值计算过程,分为三个步骤:*
a、粘贴操作函数 会将补丁P 粘贴在黑色背景图片 的中心,得到扰动图片b、积分梯度函数 会以扰动图片 和补丁的目标类别y'为输入,输出显著图 其中显著图 衡量 中每个像素对于y'的重要性;
*
c、对抗补丁P的PS值按下式得出:其中:
*
符号[.]b表示内部向量的第b维分量; 是对抗补丁P 在 上的掩膜;运算符号⊙表示两个向量之间的哈达玛积;
S3.3、APS计算的停止条件若可用数据集组 中的任一数据集的APS值已知,则选择APS值最大的数据集作为代理数据集 否则返回S3.1;
S4、DF‑EoT算法的补丁生成S4.1、对抗补丁初始化
利用像素值范围为[0,1]的均匀随机噪声初始化对抗补丁S4.2、变换采样
首先对代理数据集 补丁位置集合Z及自然变换集合R进行均匀随机采样,获得背景图像X,位置坐标z,自然变换r;然后,粘贴操作 会将变换后的补丁粘贴在背景图片X的位置z上,进而获得扰动图片XP;
S4.3、背景更新
得到扰动图片XP后,依据下式对图片背景Xback进行更新:其中,Xback为扰动图片XP中除补丁P外的其余像素;目标函数 见等式(4);优化问题通过Xback像素的更新抑制XP分类为目标类别y',模拟具备干扰性的图片背景;
S4.4、补丁更新
对扰动图片XP的背景Xback更新后,对XP中补丁P的像素进行更新,以求解如下优化问题:其中,目标函数 见等式(4),优化问题(10)通过补丁P像素值的更新促使XP分类为目标类别y';
S4.5、补丁更新停止条件
判断补丁P的更新次数;若次数大于等于βtotal则进行下一步骤,否则返回步骤S4.2,进行补丁P的下轮迭代更新;
S4.6、补丁生成停止条件
设已有对抗补丁数目为i,保存步骤S4.5中获得P,并将其表示为 若i+1≥k成立,则进行下一步骤,否则返回步骤4.1生成新的对抗补丁;
S4.7、基于PS指标的重启选择从步骤S4.6保存的k个补丁中选出攻击性最强的补丁作为最终输出;重启选择步骤会分别计算k个补丁 的PS值,并选择其中PS值最大的补丁作为DF‑EoT算法的输*出补丁P。