1.一种基于声谱图的声纹识别集成模型的防御方法,其特征在于,包括以下步骤:(1)采集音频文件,并将音频文件转化为声谱图,该声谱图作为良性样本;
(2)利用良性样本训练多个图像识别模型,使图像识别模型达到声纹识别的效果,从而获得多个基于图像的声纹识别模型;
(3)采用投票机制将步骤(2)中训练好的多个基于图像的声纹识别模型进行集成,形成声纹识别集成模型,利用良性样本重新训练声纹识别集成模型,具体包括:利用投票机制将多个声纹识别模型进行集成,获得声纹识别集成模型;投票前先将各声纹识别模型返回的预测置信度转化为预测类别,即最高置信度对应的类别标记作为该声纹识别模型的预测结果;各个声纹识别模型得到声谱图样本的预测结果后,若某预测类别获得一半以上声纹识别模型投票,则预测类别即为声纹识别集成模型的预测结果;再用良性样本对声纹识别集成模型进行训练,用测试集进行测试,以提高声纹识别集成模型;
(4)采用布谷鸟搜索算法分别攻击多个声纹识别模型,生成对抗样本,并将对抗样本转化为声谱图,作为恶性样本,具体包括:(4‑1)初始化适应度函数,定义适应度函数如下:
f=[ytilogyipre+(1‑yti)log(1‑yadvipre)]+c·||xadvi‑xi,0||2其中,xadvi表示对抗样本,xi,0表示原音频,yti表示目标说话人的标签,yadvipre表示对抗样本的输出,该式中用L2函数来衡量对抗样本与原音频之间的差异,通过参数c控制这个差异的大小,yipre表示声纹识别模型输出的置信度;
(4‑2)初始化鸟巢,设置鸟巢数量为G,初始化与原音频大小相同的随机扰动,叠加到原音频上,形成初始对抗样本,即初始鸟巢设为:X=x1,x2,…,xG
(4‑3)通过莱维飞行获得新鸟巢,即通过莱维飞行获得新对抗样本,莱维飞行更新如下:xi=xi+α*S*n
其中α是步长缩放因子,n是与xi维数相同的,由标准正态分布的随机数组成的数组,S为步长:2
其中,u,v是两个服从高斯分布的变量,β是常数,σ由公式下式计算:其中 是伽马函数;
(4‑4)计算每个个体的适应度,记为F=f1,f2,…,fG,,找到种群中的最优个体即适应度函数值最小的个体,记为Fglobal,,若迭代次数达到设定的最大迭代次数或者生成的对抗样本能够分类为目标类别,则停止迭代,输出对抗样本,若不满足上述条件,则重复步骤(4‑1)~(4‑3),对种群继续迭代寻优,由此可获得不同声纹识别模型下生成的对抗样本;
(5)利用恶性样本和良性样本对步骤(3)获得的基于图像的声纹识别集成模型进行再训练,获得能够抵抗攻击的声纹识别集成模型;
(6)利用步骤(5)获得的声纹识别集成模型对音频文件对应的声谱图进行防御识别。
2.如权利要求1所述的基于声谱图的声纹识别集成模型的防御方法,其特征在于,将音频文件转化为声谱图的具体步骤为:对音频进行分帧,并对每帧语音信号加窗处理后进行短时傅里叶变换;
计算短时傅里叶变换结果的功率谱,并对功率谱进行归一化处理,获得声谱图,将声谱图与对应的说话者组成一个良性样本。
3.如权利要求1所述的基于声谱图的声纹识别集成模型的防御方法,其特征在于,所述图像识别模型采用VGG16或VGG19。
4.一种基于声谱图的声纹识别集成模型的防御装置,包括计算机存储器、计算机处理器以及存储在所述计算机存储器中并可在所述计算机处理器上执行的计算机程序,所述计算机处理器执行所述计算机程序时实现权利要求1~3任一项所述的基于声谱图的声纹识别集成模型的防御方法。