欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023112084492
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于间接异构图注意力模型的语音欺骗检测方法,包括以下步骤:获取当前语音信号;

使用训练好的间接异构图注意力模型对当前语音信号进行处理,并输出判别结果;

其特征在于,所述间接异构图注意力模型包括:

编码网络部,其用于对当前语音信号进行特征提取,得到当前深层特征图;其中,当前深层特征图的规格为S×T×C,S表示高度、T表示宽度、C表示通道数;

判别网络部,其用于对当前深层特征图进行处理,得到判别结果;

其中,所述判别网络部包括:

挤压激励网络,其用于将当前深层特征图按照通道权重进行处理,得到当前通道特征图;其中,当前通道特征图的规格为S×T×C;对于第c个通道,当前通道特征沿高度方向具有 S个当前频域特征、沿宽度方向具有T个当前时域特征;c∈[1,C];

同构注意力网络部,其包括频域图注意力网络、时域图注意力网络;所述频域图注意力网络用于对第c个通道的S个当前频域特征分别直接聚合,得到第c个通道的S个同构频域特征;所述时域图注意力网络用于对第c个通道的T个时域特征分别直接聚合,得到第c个通道的T个同构时域特征;

异构注意力网络部,其包括直接聚合型异构注意力网络、间接聚合型异构注意力网络;所述直接聚合型异构注意力网络用于对第c个通道的S个同构频域特征、T个同构时域特征分别直接聚合,得到第c个通道的S个直接频域特征、T个直接时域特征;所述间接聚合型异构注意力网络用于对第c个通道的S个同构频域特征、T个同构时域特征分别间接聚合,得到第c个通道的S个间接频域特征、T个间接时域特征;

以及

信息融合网络,其用于对第c个通道的S个直接频域特征、S个间接频域特征进行融合,得到第c个通道的S个融合频域特征;对第c个通道的T个直接时域特征、T个间接时域特征进行融合,得到第c个通道的T个融合时域特征;并基于所有C个通道的融合频域特征、融合时域特征重构出当前重构特征图,再输出判别结果;其中,当前重构特征图的规格为S×T×C。

2.根据权利要求1所述的基于间接异构图注意力模型的语音欺骗检测方法,其特征在于,所述编码网络部包括:滤波网络,其用于采用1个Sinc卷积层对当前语音信号进行卷积得到当前低维特征图;

以及

残差网络,其采用6个ResNet层将当前低维特征图转换成当前深层特征图。

3.根据权利要求1所述的基于间接异构图注意力模型的语音欺骗检测方法,其特征在于,所述挤压激励网络采用SENet;

所述挤压激励网络对当前深层特征图进行挤压、激励、相乘操作,得到当前通道特征图。

4.根据权利要求1所述的基于间接异构图注意力模型的语音欺骗检测方法,其特征在于,所述频域图注意力网络进行直接聚合的方法包括:取第c个通道的S个当前频域特征中任意1个特征为A;

分别计算出S个当前频域特征到A的聚合权重,为W1→A~WS→A;其中,Ws→A表示第S个当前频域特征到A的聚合权重;s∈[1,S];

按照加权计算将S个当前频域特征聚合到A,得到同构频域特征A’;

将A遍历S个当前频域特征,得到S个同构频域特征。

5.根据权利要求1所述的基于间接异构图注意力模型的语音欺骗检测方法,其特征在于,所述时域图注意力网络进行直接聚合的方法包括:取第c个通道的T个当前时域特征中任意1个特征为B;

分别计算出T个当前时域特征到B的聚合权重,为W1→B~WT→B;其中,Wt→B表示第t个当前时域特征到B的聚合权重;t∈[1,T];

按照加权计算将T个当前时域特征聚合到B,得到同构时域特征B’;

将B遍历T个当前时域特征,得到T个同构时域特征。

6.根据权利要求1所述的基于间接异构图注意力模型的语音欺骗检测方法,其特征在于,所述直接聚合型异构注意力网络进行直接聚合的方法包括:将第c个通道的S个同构频域特征、T个同构时域特征当作同一类特征,共Z个异构域特征;Z=S+T;

取第c个通道中的Z个异构域特征中任意1个特征为C;

分别计算出Z个异构域特征到C的聚合权重,为W1→C~WZ→C;其中,Wz→C表示第z个异构域特征到C的聚合权重;z∈[1,Z];

按照加权计算将Z个异构域特征聚合到C,得到直接聚合特征C’;

其中,若C是同构频域特征,则C’作为直接频域特征;若C是同构时域特征,则C’作为直接时域特征;

将C遍历Z个异构域特征,得到S个直接频域特征、T个直接时域特征。

7.根据权利要求1所述的基于间接异构图注意力模型的语音欺骗检测方法,其特征在于,所述间接聚合型异构注意力网络进行间接聚合的方法包括:将第c个通道的S个同构频域特征、T个同构时域特征当作同一类特征,共Z个异构域特征;Z=S+T;

取第c个通道中的Z个异构域特征中任意2个特征,设为D、E;

对于选定的E,将D遍历Z个异构域特征,得到Z个异构域特征到E的聚合特征、并对其求和得到E聚合后的特征E’;

其中,聚合特征的计算方法包括:

对于选定的D、E,将第c个通道中的Z个异构域特征依次作为中间特征F;

计算D经过中间特征F聚合到E的聚合权重为WD→F→E,再依据WD→F→E计算出D经过F聚合到E的加权域信息,得到Z个加权域信息、并取其最大值作为D到E的聚合特征;

其中,若E是同构频域特征,则E’作为间接频域特征;若E是同构时域特征,则E’作为间接时域特征;

将E遍历Z个异构域特征,得到S个间接频域特征、T个间接时域特征。

8.根据权利要求1所述的基于间接异构图注意力模型的语音欺骗检测方法,其特征在于,所述信息融合网络进行融合的方法包括但不限于平均化、最大池化、串联化。

9.根据权利要求1所述的基于间接异构图注意力模型的语音欺骗检测方法,其特征在于,所述间接异构图注意力模型的训练方法包括以下步骤:S1.1,构建间接异构图注意力模型,并获取历史语音样本数据集;

S1.2,将历史语音样本数据集划分为训练集、发展集和评估集;

S1.3,使用训练集、发展集对间接异构图注意力模型进行参数训练,直至模型收敛得到训练好的间接异构图注意力模型;

S1.4,使用评估集对训练好的间接异构图注意力模型进行性能评估。

10.一种基于间接异构图注意力模型的语音欺骗检测系统,其特征在于,其使用了如权利要求1-9中任一项所述的基于间接异构图注意力模型的语音欺骗检测方法;

所述基于间接异构图注意力模型的语音欺骗检测系统包括:音频获取模块,其用于获取当前语音信号;

以及

音频处理模块,其内置有训练好的间接异构图注意力模型,并使用训练好的间接异构图注意力模型对当前语音信号进行处理,并输出判别结果;

其中,所述音频处理模块包括:编码器、判别器;所述编码器用于对当前语音信号进行特征提取,得到当前深层特征图;所述判别器用于对当前深层特征图进行处理,得到判别结果。