欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018104183461
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种训练数据有限情形下的非平行文本语音转换方法,其特征在于,包括以下步骤:

1训练部分:

1.1训练语料通过AHOcoder分析/合成模型提取出不同说话人的不同语句的梅尔频率倒谱系数Mel‑Frequency Cepstral Coefficients,MFCC和对数基频log f0;

1.2对1.1中说话人每帧的MFCC语音特征X进行一次差分和二次差分,并与原特征进行

2

拼接得到特征Xt=(X,ΔX,ΔX),然后将拼接后特征的前后各一帧形成联合特征参数xn=(Xt‑1,Xt,Xt+1);

1.3将1.2中的联合特征xn作为说话人识别任务的深度神经网络(Deep  Neural Networks,DNN)训练的输入数据,DNN模型的输出为说话人分类标签;当目标说话人训练数据不充分时,对DNN的训练过程进行干预与优化,补充目标说话人的特征空间;待DNN模型训练至收敛后,提取每一帧的Bottleneck特征bn作为变分自编码器Variational Autoencoder,VAE模型训练过程中decoder的监督信息;

1.4对于VAE模型的训练,将1.2中的输出xn和1.3中DNN模型的输出bn作为VAE模型的输入,按照VAE模型训练方法进行模型训练;待VAE模型训练至收敛后,将VAE隐含空间各帧的采样特征zn提取出来作为目标说话人Bottleneck特征映射网络Back Propagation网络的训练数据;

1.5训练Bottleneck映射网络,将1.4中得到的zn和说话人标签特征yn组成联合特征(zn,yn)输入BP网络,并以DNN网络输出的Bottleneck特征bn作为BP网络的监督数据进行训练,通过随机梯度下降算法优化网络的输出误差,从而得到Bottleneck特征映射网络;

1.6将以上训练好的DNN特征提取网络,VAE模型,Bottleneck特征映射网络组成语音转换系统;

2转换阶段:

2.1源说话人任意测试语音通过AHOcoder分析/合成模型提取源说话人MFCC特征参数Xsrc和对数基频log f0;

2.2将源说话人任意测试语音的语音特征参数Xsrc输入VAE语音转换模型,通过VAE模型的encoder过程得到采样特征zn,并将zn和说话人标签特征yn组成联合特征(zn,yn)输入Bottleneck特征映射网络BP网络,训练得到目标说话人Bottleneck特征bn,将bn和zn通过VAE模型的decoder重构出转换后的语音特征参数Xtar;

2.3将转换阶段2.1中提取的源说话人对数基频log f0转换为目标说话人语音对数基频,将转换后的语音特征参数Xtar还原为梅尔频率倒谱形式的语音频谱特征参数xn;

2.4将2.3中的语音频谱特征参数xn和目标说话人语音对数基频通过AHOcoder模型合成转换后的说话人语音。

2.根据权利要求1所述的训练数据有限情形下的非平行文本语音转换方法,其特征在于:所述步骤1.1中提取MFCC特征参数和对数基频log f0是利用AHOcoder声音编码器提取得到,然后将MFCC特征参数读取到MATLAB平台进行处理。

3.根据权利要求1所述的训练数据有限情形下的非平行文本语音转换方法,其特征在于:所述步骤训练部分的1.2中提取的特征参数,首先将每一条语音特征参数在MATLAB平台对每一帧语音进行一次差分和二次差分,并将其与原始特征拼接到一起,得Xt=(X,ΔX,Δ2

X),并将其前后各一帧拼接到一起得到参与VAE模型训练的联合特征xn=(Xt‑1,Xt,Xt+1)。

4.根据权利要求1所述的训练数据有限情形下的非平行文本语音转换方法,其特征在于:所述步骤训练部分的1.3中对DNN特征提取网络的训练,当存在说话人训练数据不充分时,由于对目标说话人的不充分训练而使目标说话人的个性特征空间分布不足,所以需要对DNN网络的训练过程进行干预与优化,自适应出目标说话人的特征空间;当目标说话人训练数据有限时,基于说话人识别的DNN网络的Bottleneck层的训练由以下步骤组成:

1.3.1将说话人联合特征xn作为DNN网络的训练数据;其中,选取目标说话人的有限语料,其他说话人的充分语料,DNN网络的softmax输出节点数为参加训练的说话人总数;

1.3.2逐层预训练DNN网络后,进行整个DNN网络的调参优化训练,在训练过程中对每个mini_batch的误差率进行监控,当误差率低于阈值30%时暂时停止DNN网络的调参训练,保存现有的网络结构和参数;

1.3.3对训练数据进行一次说话人识别的分类统计,并筛选出错分到目标说话人类别的所有帧,将这些帧的标签替换为目标说话人的标签;

1.3.4继续DNN网络的训练直至梯度收敛;通过对DNN网络训练进行干预后,能从其他说话人的特征空间中自适应出一定的目标说话人特征,完成特征空间的补充。

5.根据权利要求1所述的训练数据有限情形下的非平行文本语音转换方法,其特征在于:在2.3步骤,将源说话人语音基频采用对数域线性变换转换得到目标说话人语音基频,将转换得到的语音特征参数Xtar去掉时域拼接和差分项还原成梅尔倒谱形式,然后再利用AHOcoder声音编码器合成转换后的目标说话人语音。

6.根据权利要求1所述的训练数据有限情形下的非平行文本语音转换方法,其特征在于:该方法分为说话人语音训练、说话人语音转换两个步骤:

1说话人语音转换训练步骤包括:

1.1获取训练语料,本处采用的语音库为CMU ARCTIC;分为两组,一组是以男性bdl进行不充分训练,awb、rms、clb和slt进行充分训练,另一组是以女性slt进行不充分训练,而其他四个说话人awb、rms、clb、bdl进行充分训练;对于充分训练的说话人每人100条语音作为训练语料,而不充分训练的说话人每人5条语音作为训练语料;

1.2使用AHOcoder语音分析模型提取语音特征参数MFCC和对数基频log f0;其中MFCC特征参数为19维语音频谱特征,并将MFCC频谱特征和它的一次差分、二次差分拼接在一起形2

成每帧57维的频谱特征Xt=(X,ΔX,ΔX),然后将前后相邻两帧拼接,从而得到171维的频谱特征xn=(Xt‑1,Xt,Xt+1),同时每一帧特征参数都对应到说话人标签特征,即yn;

1.3将1.2中的特征xn参数作为DNN网络即Bottleneck特征提取网络的训练数据;DNN网络是一种多层堆栈全连接型人工神经网络;在本方法中,使用的DNN模型采用9层网络,其中输入层节点数为171,对应xn每帧的171维特征,中间隐层数为7层,每层的节点数分别为

1200、1200、1200、57、1200、1200,其中节点数较少的隐层为Bottleneck层;利用逐层贪婪预训练法对DNN各层节点之间的连接权值进行无监督的预训练,隐层的激活函数采用ReLu函数;

Bottleneck特征是DNN网络作为特征提取的一种运用,这种DNN模型中,中间有一层节点数较少的隐层,即为Bottleneck层,这一层各个节点的激活值通常被看作是输入信号的一种低维表示,所以对于基于不同任务进行训练的DNN模型,其Bottleneck层激活值所表达的信息也会随之变化;DNN模型提取Bottleneck特征和进行说话人识别任务分为两个阶段,可以将DNN网络拆分为两个模块:Analyzer和Classifier;DNN通过Analyzer解析网络从原始的语音频谱特征参数中解析出表示说话人个性特征空间的Bottleneck特征,而后通过Classifier分类网络对Bottleneck特征进行识别分类;通过对DNN的调优训练,不仅得到了最优的分类边界,同时在Bottleneck层也形成了适于特定分类任务的Bottleneck特征空间分布,即Analyzer解析网络将输入数据解析为最适合某种特定分类的特征空间分布;以一个平面的二分类问题为例,DNN网络作为分类器,在其训练过程不受到干预的情况下,会最终收敛形成一个较好的分类边界;通过对DNN进行模块划分,将DNN网络一分为二进行分析,认为通过训练之后的DNN网络不仅具备最优的分类能力,同时各帧输入信号在Bottleneck层的激活值也正是由Analyzer模块解析出的最适于特定分类的特征空间分布;

基于DNN的这样一种特性,当说话人训练数据不充分时,为了能从源说话人的特征空间中自适应出一定的目标说话人个性特征进行特征空间的补充,可以通过对DNN网络的训练过程进行干预与优化,在基于说话人识别任务的DNN网络中,在其Bottleneck层自适应出一定的目标说话人的个性特征空间;

对DNN网络的训练过程进行干预之后,通过对DNN训练阶段进行人为干预的方法,少量类别的特征空间得到了有效补充,因此利用上述的对DNN网络训练过程进行干预的方式,认为DNN的Bottleneck层从其他说话人个性特征空间中自适应出了一定的目标说话人的特征空间,从而弥补了多说话人对多说话人语音转换中由于目标说话人不充分训练而导致的特征空间分布不足的问题;

1.4对于VAE模型的训练,将1.2中的xn和1.3中DNN模型的输出bn作为VAE模型的训练数据,其中的bn与采样特征zn进行拼接形成联合特征,加入到VAE模型的decoder部分进行训练实现语音频谱特征的重构;VAE网络的训练过程中,VAE模型参数估计过程中的两个优化项利用ADAM优化器来实现;待VAE模型训练至收敛后,将VAE隐含空间各帧的采样特征zn提取出来作为目标说话人Bottleneck特征映射网络BP网络的训练数据;本方法中VAE模型encoder输入层为171个节点,两个隐层,第一层为500个节点,第二层为64个节点,在第二层节点中,前32个节点计算混合高斯分布各分量的均值,后32个节点计算各分量的方差,此时是通过神经网络来计算更好拟合输入信号的高斯混合分布,隐含空间层包含32个节点,其各个节点的值通过从第二层隐层采样获得;decoder设置为包含一个隐层,节点数为500,输出层为171个节点;除了隐含空间层为线性输出,其他隐层激活值为ReLU函数;

(i) (i)

VAE模型用判别模型qφ(z|x )去逼近真实的后验概率pθ(z|x ),而衡量两个分布的相似程度,则采用KL散度,即式1‑1所示:将式1‑1作贝叶斯公式的变换并整理可得式1‑2:

于是:

(i) (i)

由于p(X)是一个已知数据集的概率,希望最小化KL(qφ(z|x )||pθ(z|x )),就要使等号右边尽可能得到最大;又因为式1‑4:通过整理可得:

其中等号右边第一项是基于qφ(z|X)的似然期望,也就是已知真实的z分布而计算出的X的分布,即根据z重建X的过程;第二项是负的KL散度;所以为找到一个好的qφ(z|X),使它尽可能地逼近pθ(z|X),需要做的就是:(1)右边第一项的log似然的期望最大化;(2)右边第二项的KL散度最小化;

为更加方便地求解式1‑5,对于隐变量z,可以将z分为两部分,一部分是一个复杂函数gφ(X),再定义一个随机变量ε负责随机部分,所以可以用gφ(X+ε)来表示服从条件概率的隐i (i) (i) (i)含空间,即z=gφ(X+ε ),其中q(z )=p(ε ),

则式1‑5又可写为:

若取随机变量ε服从标准正态分布,即ε=N(0,I),而将z|X简化为一种高斯关系,进而有:qφ(z|X,ε)=N(z|μ(X),∑(X))      式1‑7

由于多维高斯分布下的KL散度公式为:

故式等号右侧第二项可改写为:

其中det为行列式,tr为矩阵的秩,d为I的秩即d=tr(I);将该式变为具体的神经网络和矩阵运算,将式1‑9化简为:这也是VAE模型的编码部分;

等式右侧第一项即代表依赖隐变量z建出的数据应尽可能与X相同,这是VAE模型的解码部分;

VAE模型所采用的训练语料中,选取其中四个说话人的语音对VAE模型进行充分训练,选取一个目标说话人的少量语音进行不充分训练,这样做的目的是为了初始化目标说话人的Bottleneck特征空间,Bottleneck特征提取DNN网络采用了分段式的训练方法和新的误差控制方式,从而使得基于说话人识别任务的DNN网络Bottleneck特征层进行了自适应;

1.5训练Bottleneck映射网络,将1.4中得到的zn和说话人标签特征yn组成联合特征(zn,yn)输入BP网络,并以DNN网络输出的Bottleneck特征bn作为BP网络的监督数据进行训练,使得BP网络的输出与各帧对应的Bottleneck特征bn之间的误差最小,从而得到Bottleneck特征映射网络;BP网络使用三层前馈全连接型的神经网络,输入层节点数为37个节点,其中32个节点对应VAE模型中隐含空间特征zn的维数,5个节点对应参与训练的五个说话人构成的5维说话人标签特征yn;输出层为57个节点,对应57维Bottleneck特征;中间包含一个隐层,节点数为1200,隐层激活函数为sigmoid函数来引入非线性变化;

1.6至此,VAE模型、DNN网络、和Bottleneck特征映射网络已经训练完成;

2进行语音转换:

2.1利用AHOcoder提取源说话人语音的MFCC参数Xsrc和对数基频 并利用MATLAB进行差分和特征拼接得到特征参数x′n;具体做法:19维的MFCC频谱特征和它的一次差分、2

二次差分拼接在一起形成每帧57维的频谱特征Xt=(X,ΔX,Δ X),然后将前后相邻两帧拼接,从而得到171维的频谱特征x′n=(Xt‑1,Xt,Xt+1);

2.2将x′n输入VAE模型得到采样特征zn,并将zn与说话人标签特征y′进行特征拼接(zn,y′),将拼接后的联合特征输入Bottleneck映射网络,网络输出Bottleneck特征

2.3将此Bottleneck特征 作为VAE频谱转换网络decoder过程的控制条件,进而得到转换后的目标说话人语音频谱参数Xtar;

2.4将转换得到的语音特征参数Xtar去掉时域拼接和差分项还原成梅尔倒谱形式 并将转换阶段2.1中提取的源说话人对数基频log f0利用对数域线性变换转换得到目标说话人语音基频;

对数域线性变换是一种简单的,同时也是当前使用最广泛的基频转换方法;这种方法基于一个假设,那就是每个说话人的基频在对数域服从一个高斯分布;那么,只要统计出每个说话人的对数基频的均值和方差,便能构造出两个说话人之间的基频转换关系:其中源说话人的基频在对数域的均值和方差分别用μsrc和δsrc表示,目标说话人的基频在对数域的均值和方差分别用μtar和δtar表示,而F0src则表示源说话人的基频,F0conv表示转换后的基频,本处使用对数基频logF0conv,即log f0;

2.5最后将2.4中得到的目标说话人频谱参数特征 以及转换后的对数基频log f0通过AHOcoder模型合成转换后的目标说话人语。

7.根据权利要求6所述的训练数据有限情形下的非平行文本语音转换方法,其特征在于:步骤1.3中,DNN网络Bottleneck层自适应训练具体步骤如下:

1.3.1准备DNN网络训练数据xn,其中选取目标说话人的少量语句,其他说话人的充分语句,DNN网络softmax输出层节点数为参与训练的说话人的总人数;

1.3.2逐层预训练DNN网络之后,进行整个DNN网络的调参优化训练,在训练过程中对每个mini_batch的误差率进行监控,当误差率低于阈值30%时暂时停止DNN网络的调参训练,保存现有的网络结构和参数;

1.3.3对训练数据进行一次说话人识别分类统计,并筛选出错分到目标说话人类别的所有帧,将这些帧的标签替换为目标说话人的标签;

1.3.4通过随机梯度下降算法依据最小化帧误差的准则进行权值调整,继续DNN网络的训练至梯度收敛;

1.3.5然后将xn逐帧输入达到收敛后的DNN网络,并将每一帧对应的Bottleneck层的激活值逐帧提取出来,即得到对应的Bottleneck特征bn。