1.一种基于联邦学习的声纹识别方法,其特征在于:基于服务器与客户端集合,由服务器初始化r=1,以及初始化待训练模型构成第r次全局迭代下的待训练模型,然后执行如下步骤,获得声纹识别模型,用于针对音频实现关于预设各音频发出者标签的识别;
步骤A.服务器由客户端集合中随机选择至少两个客户端,作为第r次全局迭代下各个待处理客户端,并由服务器将第r次全局迭代下的待训练模型下发至第r次全局迭代下各个待处理客户端,然后进入步骤B;
步骤B.第r次全局迭代下各个待处理客户端分别基于其本地的音频数据样本集,联系模型记忆和动量增量,以音频样本为输入、以音频样本所对应音频发出者为输出,针对待训练模型进行训练,获得局部训练后模型,并结合相对应的预测准确率,上传至服务器;然后进入步骤C;
步骤B中,第r次全局迭代下各个待处理客户端分别初始化h=1,并执行如下步骤:
步骤B1.待处理客户端由其本地包括各音频样本、以及各音频样本分别对应音频发出者标签的音频数据样本集中,随机获得预设第一数量、且覆盖该音频数据样本集中全部音频发出者标签的各个样本,构成初始样本子集并基于待训练模型的起始参数组联系待处理客户端对应的损失函数,以及待训练模型对应以音频样本为输入、以音频样本所对应音频发出者为输出,生成待训练模型的本地个性化起始参数组将作为作为然后进入步骤B2;
其中,1≤ir≤Ir,Ir表示第r次全局迭代下待处理客户端的数量,表示第r次全局迭代下第ir个待处理客户端对应的初始样本子集,表示第r次全局迭代下第ir个待处理客户端中待训练模型的起始参数组,表示第r次全局迭代下第ir个待处理客户端中待训练模型的本地个性化起始参数组,表示第r次全局迭代下第ir个待处理客户端中待训练模型对应第h次局部迭代的参数组;表示第r次全局迭代下第ir个待处理客户端中待训练模型对应第h次局部迭代的本地个性化参数组;
步骤B2.待处理客户端由其本地的音频数据样本集中,随机获得预设第二数量、且覆盖该音频数据样本集中全部音频发出者标签的各个样本,构成第一样本子集并根据参数组联系待处理客户端对应的损失函数,以及待训练模型对应以音频样本为输入、以音频样本所对应音频发出者为输出,获得参数组然后进入步骤B3;其中,表示第r次全局迭代下第ir个待处理客户端对应第h次局部迭代的第一样本子集,表示第r次全局迭代下第ir个待处理客户端中待训练模型对应第h+1次局部迭代的参数组;
步骤B3.待处理客户端根据参数组本地个性化参数组第一样本子集联系模型记忆和预设动量增量、以及待处理客户端对应的损失函数,以及待训练模型对应以音频样本为输入、以音频样本所对应音频发出者为输出,获得本地个性化参数组然后进入步骤B4;其中,表示第r次全局迭代下第ir个待处理客户端中待训练模型对应第h+1次局部迭代的本地个性化参数组;
步骤B4.待处理客户端由其本地的音频数据样本集中,随机获得预设第三数量、且覆盖该音频数据样本集中全部音频发出者标签的各个样本,构成第二样本子集同时随机获得预设第四数量、且覆盖该音频数据样本集中全部音频发出者标签的各个样本,构成第三样本子集然后进入步骤B5;其中,表示第r次全局迭代下第ir个待处理客户端对应第h次局部迭代的第二样本子集,表示第r次全局迭代下第ir个待处理客户端对应第h次局部迭代的第三样本子集;
步骤B5.待处理客户端根据第二样本子集第三样本子集参数组本地个性化参数组应用Hessian矩阵,联系待处理客户端对应的损失函数,以及待训练模型对应以音频样本为输入、以音频样本所对应音频发出者为输出,针对参数组进行更新,然后进入步骤B6;
步骤B6.待处理客户端判断基于参数组的待训练模型的预测准确率是否大于预设局部预测准确率阈值,是则以参数组的待训练模型作为待处理客户端的局部训练后模型,并结合相对应的预测准确率,上传至服务器;否则针对h的值进行加1更新,并返回步骤B2;
步骤C.服务器针对第r次全局迭代下各待处理客户端分别所上传局部训练后模型的参数组进行聚合,获得第r次全局迭代下的全局参数组,然后服务器获得第r次全局迭代下各待处理客户端分别所上传局部训练后模型的预测准确率的平均准确率,判断平均准确率是否大于预设全局模型准确率阈值或者全局迭代次数是否达到预设全局最大迭代次数,是则由待训练模型结合第r次全局迭代下的全局参数组,构成声纹识别模型;否则由待训练模型结合第r次全局迭代下的全局参数组,构成第r+1次全局迭代下的待训练模型,并针对r的值进行加1更新,再返回步骤A。
2.根据权利要求1所述一种基于联邦学习的声纹识别方法,其特征在于:所述步骤B1中,待处理客户端根据初始样本子集基于待训练模型的起始参数组联系待训练模型对应以音频样本为输入、以音频样本所对应音频发出者为输出,按如下公式:获得待训练模型的本地个性化起始参数组其中,α表示预设第一学习率,Δ表示求导计算,表示第r次全局迭代下第ir个待处理客户端对应的损失函数,表示第r次全局迭代下第ir个待处理客户端基于参数组的待训练模型关于初始样本子集中样本x对应损失函数下的损失结果,表示初始样本子集中样本的数量。
3.根据权利要求1所述一种基于联邦学习的声纹识别方法,其特征在于:所述步骤B2中,待处理客户端根据参数组第一样本子集联系待训练模型对应以音频样本为输入、以音频样本所对应音频发出者为输出,按如下公式:获得参数组其中,α表示预设第一学习率,表示求导计算,表示第r次全局迭代下第ir个待处理客户端对应的损失函数,表示第r次全局迭代下第ir个待处理客户端基于参数组的待训练模型关于第一样本子集中样本y对应损失函数下的损失结果,表示第一样本子集中样本的数量。
4.根据权利要求1所述一种基于联邦学习的声纹识别方法,其特征在于:所述步骤B3中,待处理客户端根据参数组本地个性化参数组第一样本子集联系模型记忆、预设动量增量β,以及待训练模型对应以音频样本为输入、以音频样本所对应音频发出者为输出,按如下公式:获得本地个性化参数组其中,α表示预设第一学习率,表示求导计算,表示第r次全局迭代下第ir个待处理客户端对应的损失函数,表示第r次全局迭代下第ir个待处理客户端基于参数组的待训练模型关于第一样本子集中样本y对应损失函数下的损失结果,表示第一样本子集中样本的数量。
5.根据权利要求1所述一种基于联邦学习的声纹识别方法,其特征在于:所述步骤B5中,待处理客户端根据第二样本子集第三样本子集参数组本地个性化参数组联系待训练模型对应以音频样本为输入、以音频样本所对应音频发出者为输出,按如下公式:针对参数组进行更新;其中,α表示预设第一学习率,η表示预设第二学习率,I表示单位矩阵,表示求导计算,T表示转置,表示第r次全局迭代下第ir个待处理客户端对应的损失函数,表示第r次全局迭代下第ir个待处理客户端基于参数组的待训练模型关于第二样本子集中样本z对应损失函数下的损失结果,表示第二样本子集中样本的数量,表示第r次全局迭代下第ir个待处理客户端基于本地个性化参数组的待训练模型关于第三样本子集中样本t对应损失函数下的损失结果,表示第三样本子集中样本的数量。
6.一种计算机设备,其特征在于:包括存储器、处理器,以及存储在存储器中并可在处理器上运行的计算机程序,处理器执行计算机程序时实现基于联邦学习的声纹识别方法。