1.一种跨语言域不变声学特征提取方法,其特征在于,主要包括以下步骤:步骤1、语音信号采集:采集母语不同的受试者参与语音采集任务的语音,以及记录受试者是否有冻结步态症状;
步骤2、对语音数据进行预处理,提取Fbank特征,根据受试者是否存在冻结步态症状进行分类标签标注,同时还将根据数据来源于“源域”或“目标域”进行域标签标注;
步骤3、训练一个Transformer编码块与多层前馈神经网络级联的特征提取器 ,将步骤2的样本特征向量 输入该特征提取器 ,提取高级语义表达并将语音特征 解纠缠为两个向量,其中, 为网络参数;
步骤4、训练两个域鉴别器用于判断输入鉴别器的特征向量来自于“源域”或“目标域”,同时还将训练两个分类器用于预测输入的特征向量的症状标签;
步骤5、根据步骤4所获得的输出,进行模型的损失计算,并更新模型的网络参数;
步骤6、根据步骤5训练完成的模型,通过模型中的特征提取器 ,即可对输入的语音样本提取一个可用于冻结步态跨语言声学分析的域不变声学特征。
2.根据权利要求1所述的跨语言域不变声学特征提取方法,其特征在于,步骤1中,对语音信号采集的具体过程为:采集不同母语的受试者的语音,包括持续元音或重复音节,同时记录受试者是否有冻结步态症状,收集受试者使用“语言1”的语音数据,并整理为源域数据库;整理母语为“语言2”的语音数据并记为目标域数据库。
3.根据权利要求2所述的跨语言域不变声学特征提取方法,其特征在于,步骤2中,对语音数据进行去噪增强预处理,然后对语音信号提取Fbank特征,根据受试者是否存在冻结步态症状进行分类标签标注,同时还将根据数据来源于“源域”或“目标域”进行域标签标注,具体过程为:步骤21、对源域数据库中的原始语音数据进行预处理,并提取Fbank特征,其中,第 个样本的Fbank特征记为 ,记其分类标签为 ,存在冻结步态时,标签用one‑hot向量[1,0]表示,否则为[0,1],记其域标签为 ,用one‑hot向量[1,0]标识样本来自源域,组成源域样本对 ,其中, s代表该数据来源于源域;
步骤22、对目标域数据库中的原始语音数据进行预处理,并提取Fbank特征,其中,第个样本的Fbank特征记为 ,记其分类标签为 ,存在冻结步态时,标签用one‑hot向量[1,0]表示,否则为[0,1],记其域标签为 ,用one‑hot向量[0,1]标识样本来自目标域,组成目标域样本对 ,其中,t代表该数据来源于目标域。
4.根据权利要求3所述的跨语言域不变声学特征提取方法,其特征在于,步骤3中,训练一个基于Transformer编码块与多层前馈神经网络级联的特征提取器,其中, 为网络参数,对原始的Fbank特征 进行解纠缠获得一个蕴含病理信息的域不变声学特征向量 和一个包含域信息的特征向量 ,具体过程为:步骤31、将步骤2所述的特征向量输入至由Transformer编码块与多层前馈神经网络级联的特征提取器 ,该特征提取器 的输出为两个同样长度的向量,其中一个向量为对特征向量解纠缠后获得的包含语音病理信息的高级表征向量 ,另外一个为对特征向量解纠缠后获得的包含域信息的高级表征向量 。
5.根据权利要求4所述的跨语言域不变声学特征提取方法,其特征在于,步骤4中,训练两个域鉴别器用于判断输入鉴别器的特征向量来自于“源域”或“目标域”,同时还将训练两个分类器用于预测输入的特征向量的症状标签,具体过程为:步骤41、将步骤3所述的特征向量 输入分类器 ,其中 为网络参数,获取第 个样本的症状标签 ,将特征向量 和其通过分类器 获得的标签进行叉乘,再将结果输入域鉴别器 进行识别,获得其域标签
,其中, 为网络参数;
步骤42、将步骤3所述的特征向量 输入域鉴别器 ,其
中, 为网络参数,获取第 个样本的域标签 ,将特征向量 和其
通过域鉴别器 获得的标签 进行叉乘,再将结果输入分类器
识别其症状标签,获得结果 ,其中, 为网络
参数。
6.根据权利要求1所述的跨语言域不变声学特征提取方法,其特征在于,步骤5中,根据步骤4所获得的输出,进行模型的损失计算,并更新模型的网络参数,具体过程为:步骤51、对于病理信息特征向量 ,其通过分类器 ,和领域鉴别器 的对抗学习,融合病理信息并排除域信息,为了排除域信息,我们将通过最小化分类器 的损失,同时最大化域鉴别器 的损失,因此我们将有如下所示的目标函数:,
其中, 为分类器 的损失函数, 为域鉴别器 的损失函数;
步骤52、对于域特征向量 与病理信息特征向量 不同的是,其通过分类器,和域鉴别器 的对抗学习,融合域信息并排除病理特征信息,为了排除病理信息,我们将通过最小化域鉴别器 的损失,同时最大化分类器 的损失,因此,我们将有如下所示的目标函数:,
其中, 为分类器 的损失函数, 为域鉴别器 的损失函数;
步骤53、对于病理信息特征向量 ,为进一步确保其排除了域信息并与域特征向量不同,我们通过对每个域数据提取的病理信息特征向量 和领域特征向量在子空间上实施正交约束来定义差分损失,将差分损失最小化以促进信息的解纠缠,记矩阵 为由源域数据提取的病理信息特征向量作为行组成的矩阵,矩阵 为由源域数据提取的域信息特征向量作为行组成的矩阵,矩阵 为由目标域数据提取的病理特征向量作为行组成的矩阵, 为由目标域数据提取的域信息特征向量作为行组成的矩阵,其目标函数计算方式为:,
其中, 表示矩阵转置;
步骤54、模型的总体优化目标函数为: ,模
型将根据这个总体优化目标函数采用SGD优化方法。
7.根据权利要求6所述的跨语言域不变声学特征提取方法,其特征在于,还包括进行模型的优化与参数的迭代:,
固定特征提取器的参数 、分类器 的参数 、域鉴别器 的参数 ,并最大化如下损失函数:。
8.根据权利要求6所述的跨语言域不变声学特征提取方法,其特征在于,步骤6中,根据步骤5训练完成的模型,通过模型中的特征提取器 ,即可对输入的语音样本提取一个可用于冻结步态跨语言声学分析的域不变声学特征,具体过程为:根据步骤5所述方法训练好的模型,固定特征提取器 输出特征向量 这一支路的模型参数,通过这个训练好的特征提取器 即可对输入的语音样本提取一个可用于冻结步态跨语言声学分析的域不变声学特征,获得最终的输出结果为一个跨语言分析声学特征 。
9.一种跨语言域不变声学特征提取系统,其特征在于:应用如权利要求1‑8中任一项所述的跨语言域不变声学特征提取方法。
10.根据权利要求9所述的跨语言域不变声学特征提取系统,其特征在于,所述跨语言域不变声学特征提取系统包括:语音数据预处理模块、特征解纠缠学习模块、条件对抗迁移学习模块、模型训练与参数优化模块和冻结步态声学特征提取模块。