1.一种基于不确定度的集成自监督说话人识别方法,其特征在于:所述集成自监督说话人识别方法包括如下步骤:步骤1:采集说话人语音数据,并对所述语音数据进行标注;
步骤2:对原始语音数据进行预处理,提取梅尔语谱图,得到语音数据的特征向量,构造说话人识别数据集;
步骤3:将步骤2中得到的梅尔语谱图特征依次输入到预训练好的若干自监督模型中,分别提取自监督模型最后一层的输出;
步骤4:关于下游分类任务,将步骤3中各个自监督模型的最后一层输出作为全连接层的输入,并将全连接层的输出经过ReLU激活函数计算得到各模型下输入语音数据分类决策的证据;
步骤5:在主观逻辑框架下计算狄利克雷分布参数,进而计算出各个自监督模型输出的置信质量和不确定度;
步骤6:用Dempster规则将若干自监督模型的输出决策结果进行融合,从而得到每个类的最终概率和总体不确定度,输出最终分类结果。
2.根据权利要求1所述的一种基于不确定度的集成自监督说话人识别方法,其特征在于:步骤3中的所述自监督模型为掩蔽自监督模型、对比自监督模型以及自回归预测自监督模型。
3.根据权利要求2所述的一种基于不确定度的集成自监督说话人识别方法,其特征在于:所述步骤3具体包括如下步骤:步骤3‑1:初始化掩蔽自监督模型、对比自监督模型以及自回归预测自监督模型的网络参数,采用大型无标签公开语音数据集上预训练好的模型参数作为初始化参数,其中,掩蔽自监督和对比自监督模型都是基于多层的Transformer模型结构,自回归预测自监督模型结构是3层的LSTM网络结构;
步骤3‑2:采用不同的损失函数计算掩蔽自监督模型、对比自监督模型以及自回归预测自监督模型的预测结果和查询样本之间的损失值,其中,对比自监督模型采用InfoNCE损失,如下所示:其中,为了预测语音序列的未来值xt+k,与经过模型预测后的语音潜在表示wt一起构造概率密度函数fk(xt+k,wt),用于保留xt+k和wt之间的互信息,N表示X={x1,x2,...,xN}中的样本个数,该样本集中有一个是来自分布p(xt+k|wt)的正样本,其余为来自分布p(xt+k)的负样本;
掩蔽自监督模型和自回归预测自监督模型采用L1损失函数,如下所示:其中,xt(t=1,2,...,n)为输入序列,yt(t=1,2,...,n)为输出序列。
4.根据权利要求3所述的一种基于不确定度的集成自监督说话人识别方法,其特征在于:步骤5具体包括如下步骤:步骤5‑1:对于K分类问题,主观逻辑根据证据为每个类别标签分配一个置信质量,并为整个框架分配一个不确定度,对于自监督模型q,K+1个质量值都非负且和为1:q
其中,u是不确定度, 是第k类的置信质量,在自监督模型中,在K分类任务下,将其模型输出作为证据,主观逻辑将证据 与狄利克雷分布的参数q
联系起来,证据e即为对比自监督模型的输出经ReLU激活函数计算后的决策结果,而狄利克雷分布的参数 可由 导出,即q
步骤5‑2:计算置信质量 和不确定度u,表示为:
其中, 为狄利克雷强度,通过上述公式可知:观察到的第k类证据越多,样本分类为第k类的概率就越大,相应地,观察到的总证据越少,不确定性就越cpc大,置信分配看作是一种主观意见,而对应狄利克雷分布p 的类概率均值计算公式为
5.根据权利要求3所述的一种基于不确定度的集成自监督说话人识别方法,其特征在于:步骤6使用Dempster规则将3个自监督模型的输出决策结果进行融合,从而得到每个类的最终概率和总体不确定度,输出最终分类结果,具体包括如下步骤:步骤6‑1:Dempster‑Shafer证据理论允许将来自不同来源的证据组合在一起,得到模型整体的不确定度,组合3个不同自监督模型的质量集 其中,包含了各q
个自监督模型的置信质量 和不确定度u ,在对比自监督模型和掩蔽自监督模型的语cpc mpc音数据中,组合M 和M :
具体公式为:
其中, 是两个质量集之间冲突量的度量, 是归一化因子。经过上述计算,得到最终分类结果。
6.根据权利要求1所述的一种基于不确定度的集成自监督说话人识别方法,其特征在于:步骤4具体包括如下步骤:步骤4‑1:自监督模型包括L层的神经网络,L层网络的输出分别为[D1,D2,...,DL],提取最后一层网络DL的输出,对于K分类问题,全连接层将DL的输出映射到K个维度;
步骤4‑2:将全连接层的输出通过ReLU激活函数计算后作为证据,ReLU激活函数如下所示:f(x)=max(x,0)。
7.根据权利要求1所述的一种基于不确定度的集成自监督说话人识别方法,其特征在于:所述步骤2中对原始语音数据进行预处理,提取梅尔语谱图,得到语音数据的特征向量,构造说话人识别数据集,具体包括如下步骤:步骤2‑1:将预处理后的语音数据转换为频谱图,经过梅尔滤波器组,得到语音的梅尔语谱图特征;
步骤2‑2:对于包含N个语音样本的梅尔语谱图集合X={x1,x2,...,xN},根据标签信息,组成样本对(xn,zn),其中,xn代表第n个语音样本的梅尔语谱图(n=1,2,...,N),zn为第n个样本的标签。
8.根据权利要求1‑7任一项所述的一种基于不确定度的集成自监督说话人识别方法,其特征在于:所述集成自监督说话人识别方法通过集成自监督说话人识别系统完成,该集成自监督说话人识别系统包括:语音特征提取模块:对语音数据进行预处理,提取语音的梅尔频谱特征,并对数据集进行标注;
自监督模型训练模块:采用大量无标签数据对掩蔽自监督模型、对比自监督模型以及自回归预测自监督模型进行预训练,并将语音数据的梅尔语谱图特征结果分别输入三个自监督模型中,提取模型最后一层的输出;
分类决策模块:将各个自监督模型的最后一层输出作为全连接层的输入,并将全连接层的输出经过ReLU激活函数计算得到各模型下输入语音数据的证据;
不确定度估计模块:通过得到的证据以及狄利克雷分布参数,计算出各个自监督模型输出的置信质量和不确定度;
决策融合模块:使用Dempster规则将三个自监督模型的输出决策进行融合,从而得到每个类的最终概率和总体不确定度,输出最终分类结果。