1.一种基于蒸馏的持续自监督多类型语音声学特征表示方法,其特征在于:所述方法包括:步骤1、语音数据的采集:从已有的公开数据集中收集不同类型的受试者语音数据;
步骤2、对采集的语音数据进行预处理,并将预处理后的不同类型语音数据分配到不同训练阶段,假设总任务数为,对应T个训练阶段,第个训练阶段的语音数据子集记为,提取各训练阶段语音数据子集对应的梅尔语谱图特征,构造各训练阶段的训练子集,第t个训练阶段的训练子集记为;
步骤3、在第1个训练阶段初始化一个掩蔽自监督特征提取模型,使用步骤2中生成的第1个训练阶段的训练子集对该模型进行模型,得到掩蔽自监督特征提取模型;根据模型输出的重构特征构建重演缓冲区;
步骤4、时,在第t个训练阶段的训练子集上,对第t-1个阶段得到的掩蔽自监督模型进行训练并更新模型参数,得到掩蔽自监督特征提取模型;根据模型输出的重构特征构建重演缓冲区;并在重演缓冲区上使用余弦相似度作为正则项进行特征蒸馏;
步骤5、令,重复执行步骤4,直至时训练完毕,最终得到掩蔽自监督特征提取模型,其输出即为拟提取的多类型语音的声学特征;
其中,所述步骤4,包括:
S401、在训练子集上计算L1损失,对模型进行参数更新,得到更新后的掩蔽自监督特征提取模型;
其中,所述L1损失,计算公式为:;
其中,为输入序列,即原始的梅尔语谱图特征,为掩蔽自监督模型的输出序列,即重构的梅尔语谱特征;
S402、复制第个训练阶段训练得到的掩蔽自监督模型,其模型参数代表第个训练阶段学习到的知识的集合;
S403、将重演缓冲区的特征输入模型,输出重构的梅尔语谱图特征;将重演缓冲区特征输入,输出重构的梅尔语谱图特征;
计算和之间的余弦相似度作为正则项,则当两个模型输出的余弦相似度大于阈值时,特征相似,表示没有遗忘旧的知识;
基于此,定义损失函数:;
其中,计算了两个自监督模型和的输出特征的余弦相似度,;
其中,表示求二范数,表示向量的转置,余弦相似度的取值范围在[-1,1]之间,1表示完全相似,-1表示完全相反,0表示两者正交;
S404、在训练子集上,参照S302挑选具有代表性的样本,构成重演缓冲区;参照S303对缓冲区采用二元混合策略进行数据增强,构建新的重演缓冲区并清除的数据。
2.如权利要求1所述的一种基于蒸馏的持续自监督多类型语音声学特征表示方法,其特征在于,所述步骤1中的语音数据,包括:所述语音数据采用多类型语音数据,包括持续元音、重复音节以及情景对话;
其中,持续元音包括持续元音/a/、持续元音/i/、持续元音/o/;重复音节包括/pa-ka-la/、/pa-ta-la/;情景对话包括多种不同的对话内容。
3.如权利要求1所述的一种基于蒸馏的持续自监督多类型语音声学特征表示方法,其特征在于,所述步骤2,包括:S201、对原始语音信号进行分帧,并使用Librosa音频处理库去除语音首尾的静音帧;将预处理后的语音数据转换为频谱图,经过梅尔滤波器组,得到对应的梅尔语谱图特征;
S202、根据步骤1的改进中提及的语音数据类型的不同,划分语音数据子集;则将不同的语音数据子集分配至不同的训练阶段;
其中,第个训练阶段的语音数据子集记为,;
对应的梅尔语谱图集合构成第个训练阶段的训练子集,;
为包含个样本的梅尔语谱图特征集合,其中,梅尔语谱图特征为第t个训练子集中的第i个样本,每个样本均无标签。
4.如权利要求1所述的一种基于蒸馏的持续自监督多类型语音声学特征表示方法,其特征在于,所述步骤3,包括:S301、训练一个基本的掩蔽自监督语音特征提取模型,将第1个训练阶段的训练子集作为掩蔽自监督语音特征提取模型的输入;
利用掩蔽图像作为借口任务,对中的梅尔语谱图特征进行随机掩蔽,再通过Transformer编码器对掩蔽后的梅尔语谱图特征进行重构,得到重构的梅尔语谱图特征;
在输入的梅尔语谱图特征与重构后的梅尔语谱图特征之间计算L1损失,其计算公式为:;
其中,为输入序列,即原始的梅尔语谱图特征,为掩蔽自监督模型的输出序列,即重构的梅尔语谱特征;
S302、利用K-means聚类方法挑选具有代表性的样本进行重演:将S301中掩蔽自监督特征提取模型输出的重构语谱图特征聚类为C个簇,从每个簇中选择最靠近中心的k个样本,距离中心最远的q个样本,构成重演缓冲区;
S303、为增加重演缓冲区的多样性,防止模型过拟合,根据公式:,对缓冲区采用二元混合策略进行数据增强;
其中,表示[0,1]之间的均匀随机变量;表示生成的新样本,即增强后的样本;、分别表示从中随机选择的样本;
得到更新后的重演缓冲区;
其中,表示增强样本。
5.用于实现权利要求1-4中任一项所述的一种基于蒸馏的持续自监督多类型语音声学特征表示方法的语音特征表示系统,其特征在于:所述系统包括:语音特征提取模块、训练子集生成模块、顺序自监督模型训练模块、重演缓冲区模块和特征蒸馏模块;
所述语音特征提取模块用于对语音数据进行预处理,提取语音的梅尔频谱特征;
所述训练子集生成模块用于将语音数据划分为语音数据子集,并分配给各个训练阶段,语音数据子集对应的梅尔语谱图构成各个训练阶段的训练子集;
所述顺序自监督模型训练模块用于将语音数据的梅尔语谱图特征按训练阶段的顺序输入自监督特征提取模型,进行随机掩蔽并重构,提取模型最后一层的输出作为多类型语音的声学特征;
所述重演缓冲区模块用于保留当前阶段的部分数据作为下一阶段的缓冲区数据,并进行数据增强;
所述特征蒸馏模块用于将重演缓冲区数据分别输入和复制的中,计算输入特征的余弦相似度进行特征蒸馏。
6.一种计算机可读存储介质,其上存储有计算机程序,其特征在于:该程序被处理器执行时实现如权利要求1-4中任一项所述的一种基于蒸馏的持续自监督多类型语音声学特征表示方法中的步骤。
7.一种计算机设备,包括存储器、处理器及存储在存储器上并在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-4中任一项所述的一种基于蒸馏的持续自监督多类型语音声学特征表示方法中的步骤。