欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023109705609
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种融合增强编码模块和LGNet网络的编-解码器结构的跨语种语音转换方法,其特征在于,包括训练阶段和转换阶段,所述训练阶段包括以下步骤:

步骤S1:获取大量的训练语料,训练语料由不同语种的多名说话人的语句组成;

步骤S2:将获取的训练语料进行预处理和特征提取;从每句训练语料的对数梅尔频谱特征中随机选取128帧并通过拼接得到对数梅尔频谱特征片段,表征为声学特征;

步骤S3:将所述声学特征输入到转换模型中进行模型训练,所述转换模型包括编码器、LGNet网络和解码器;所述编码器对输入的声学特征进行解纠缠,从中获得说话人信息表征和内容表征;所述编码器和解码器之间采用U型连接,将说话人信息表征从编码器传递到解码器;所述LGNet网络对编码器提取的内容表征进一步优化得到,使得内容表征中的信息充分表达;所述解码器将获取的说话人信息表征和优化后的内容表征进行重构,得到重构后的对数梅尔频谱特征,表征为声学特征;

所述转换模型中的编码器由2个一维卷积层、6个增强编码模块、6个实例归一化层和1个激活指导函数层组成,所述增强编码模块由1个递归门控卷积层、1个批归一化层、1个LeakyReLU激活函数和1个一维卷积层组成,所述增强编码模块和实例归一化层交替放置;

步骤S4:对转换模型进行训练的过程中,使所述转换模型的重构损失函数尽量小,设置所述转换模型的超参数,使得目标函数最小化,直至设置的迭代次数,从而得到训练好的转换模型;

所述转换阶段包括以下步骤:

步骤S5:选取不同语种的语句作为待转换语料,从待转换语料中分别选择不同语种的源语句和目标语句,分别提取源语句的对数梅尔频谱特征和目标语句的对数梅尔频谱特征,分别表征为声学特征和;

步骤S6:将所述声学特征和输入到训练好的转换模型中,重构出转换语句的对数梅尔频谱特征,表征为声学特征;

步骤S7:采用Griffin-Lim声码器,将获得的转换语句的声学特征转换为语音波形进行输出,从而获得跨语种语音转换的合成语音。

2.根据权利要求1所述的融合增强编码模块和LGNet网络的编-解码器结构的跨语种语音转换方法,其特征在于,步骤S2所述的将获取的训练语料进行预处理和特征提取,具体步骤为:训练语料的采样率设置成24kHz,快速傅里叶变换的点数设置成2048,窗长设置为1200,窗移动长度设置为300。

3.根据权利要求1所述的融合增强编码模块和LGNet网络的编-解码器结构的跨语种语音转换方法,其特征在于,所述增强编码模块中的递归门控卷积将自注意中的二阶相互作用扩展到任意阶,编码器将声学特征经过编码器中的第一个一维卷积层后得到的特征向量作为增强编码模块中递归门控卷积的输入,输入到递归门控卷积中的输入线性投影层得到一组投影特征和,所述的输入线性投影层的公式为:;

其中,;和表示特征向量的高和宽;表示通道数;表示高阶交互的阶数;表示不同投影特征对应的通道数;得到投影特征后,将其依次输入到递归门控卷积中进行递归运算,运算公式为:,;

其中,表示缩放系数;表示深度卷积计算;表示维度映射函数,表示点积运算;将最后一步运算操作的输出馈送到输出线性投影层后得到递归门控卷积的最终结果。

4.根据权利要求1所述的融合增强编码模块和LGNet网络的编-解码器结构的跨语种语音转换方法,其特征在于,步骤S3中,所述转换模型中的LGNet网络由6个LGBlock卷积模块组成,每个LGBlock卷积模块由1个一维深度卷积层、1个层归一化层、1个GELU激活函数、1个正则化层和2个全连接层组成;每个LGBlock卷积模块之间使用残差连接相连。

5.根据权利要求4所述的融合增强编码模块和LGNet网络的编-解码器结构的跨语种语音转换方法,其特征在于,一维深度卷积的每个卷积核通道数都是等于1,每个卷积核只负责输入特征的一个通道,因此卷积核的个数等于输入特征的通道数,从而使得输出特征的通道数等于输入特征的通道数;假设是输入特征的宽和高,是卷积核的高和宽,是输入特征的通道数;卷积的计算量等于卷积核的高卷积核的宽卷积核的通道数卷积核的个数输入特征的高输入特征的宽,假设步长等于1;

一维深度卷积的计算量为:

。

6.根据权利要求1所述的融合增强编码模块和LGNet网络的编-解码器结构的跨语种语音转换方法,其特征在于,步骤4中训练过程具体如下:步骤S4-1:将从训练语料中提取到的声学特征输入到编码器,训练编码器提取内容表征和说话人信息表征的能力;

步骤S4-2:在编码器中,声学特征在经过编码器中的第一个一维卷积层后得到特征向量,然后经过增强编码模块后得到特征向量;

步骤S4-3:编码器中第一个实例归一化层将特征向量作为输入,提取说话人信息表征,通过U型连接将说话人信息表征传递到解码器;并用提取到的说话人信息对作归一化处理得到实例归一化表征,将实例归一化表征输入到编码器中的最后一个一维卷积层后得到特征向量;

步骤S4-4:使用激活指导函数层作为瓶颈进一步滤除特征向量中的说话人信息,得到纯净的内容表征;

步骤S4-5:将纯净的内容表征输入到LGNet网络进一步提取优化,得到优化后的内容表征,将内容表征中的信息充分表达出来;

步骤S4-6:将优化后的内容表征和说话人信息表征输入到解码器,训练解码器重构声学特征的能力;

步骤S4-7:将内容表征经过解码器中的第一个一维卷积层后得到的特征向量和编码器提取的说话人表征输入到解码器中的自适应实例归一化层,以加强重构声学特征中的说话人信息;

步骤S4-8:编码器、LGNet网络和解码器联合训练,重复步骤S4-1至步骤S4-7的过程,通过最小化重构损失函数,直至达到设置的迭代次数,从而得到训练好的转换模型。

7.根据权利要求1所述的融合增强编码模块和LGNet网络的编-解码器结构的跨语种语音转换方法,其特征在于,所述重构损失函数表示为:;

其中,表示编码器的输入声学特征;表示解码器的重构声学特征,表示解码器的重构声学特征与编码器的输入声学特征之间的损失期望;表示L1范数;表示编码器对应的参数;表示解码器对应的参数。

8.根据权利要求1所述的融合增强编码模块和LGNet网络的编-解码器结构的跨语种语音转换方法,其特征在于,所述目标函数表示为:;

其中,表示编码器对应的参数;表示解码器对应的参数,表示模型的重构损失函数,超参数表示重构损失函数的权重。

9.根据权利要求1所述的融合增强编码模块和LGNet网络的编-解码器结构的跨语种语音转换方法,其特征在于,步骤S6中转换过程具体如下:步骤S6-1:将步骤S5所述的声学特征和输入到训练好的转换模型中,利用编码器提取源语句的内容表征和目标语句的说话人信息表征;

步骤S6-2:源语句的内容表征经过LGNet网络进一步提取优化,得到优化后的内容表征,使得内容表征中的信息充分表达;目标语句的说话人信息表征直接通过U型连接传递到解码器;

步骤S6-3:解码器将优化后的源语句的内容表征和目标语句的说话人信息表征在解码器中的自适应实例归一化层中充分融合,之后经过解码模块解码,最后得到重构的转换对数梅尔频谱特征,表征为声学特征。