1.音素知识增强的老-英混合语言语音合成方法,其特征在于:所述方法包括:步骤1、构建音素细粒度发音知识词典;
步骤2、构建音素知识增强的老-英混合语言语音合成模型,音素知识增强的老-英混合语言语音合成模型包括:在编码阶段融入了细粒度发音特征,直接对发音进行建模;
在模型训练时,首先通过音素细粒度发音知识词典将字符转化为id标识,再通过嵌入层生成向量表示,从而得到传统音素嵌入;然后,将音素的发音特征表示为一维矩阵,通过设置矩阵中的值为1或-1来区分音素发音的差异,从而对细粒度发音特征建模;
步骤3、老-英混合语言语音合成:将步骤2音素知识增强的老-英混合语言语音合成模型整合为能在服务器上调用的API接口,通过调用模型API接口,构建了一个老挝语-英语混合语言语音合成装置,用于进行老-英混合语言语音合成。
2.音素知识增强的老-英混合语言语音合成方法,其特征在于:所述步骤1中,采用IPA国际音标将老挝语和英语统一表征为音素,并在所有的音素序列上构建音素细粒度发音知识词典。
3.根据权利要求1所述的基于音素细粒度发音知识增强的老挝语-英语混合语言语音合成方法,其特征在于:所述步骤1的具体步骤包括:步骤1.1音素词典构建:人工对从互联网上爬取的老挝语数据进行了标注,包括去除无用字符;随后,使用Epitran和Espeak工具分别将老挝语和英语文本化为音素序列,以初步构建音素词典;
步骤1.2音素细粒度发音知识处理:基于步骤1.1构建的音素词典加上符号以及属性标签,从而使每一个字符都有额外的属性,通过赋予的不同属性值标记不同字符的发音方式。
4.根据权利要求1所述的基于音素细粒度发音知识增强的老挝语-英语混合语言语音合成方法,其特征在于:所述步骤2中,音素知识增强的老-英混合语言语音合成模型的操作过程包括:步骤2.1、基于步骤1构建的音素细粒度发音知识词典,采用one-hot编码的方式,根据属性词典的大小构建等长度的一维全零矩阵,根据细粒度发音词典中每个音素被标记的属性值,对一维全零矩阵中对应的标签位置为1,并对相反的类型置为-1,以加剧发音相差较远的音素之间的差距,从而对音素细粒度发音属性进行嵌入,随后引入LSTM网络输出音素序列在细粒度发音嵌入上的隐状态;输入的细粒度发音特征向量大小为:shape(Inputvector)=B*L*H1;
其中,Inputvector表示为音素细粒度发音特征,B为批次大小,L为一个批次中最长句子长度,H1表示每个字符嵌入维度;
音素细粒度发音特征向量通过LSTM网络得到细粒度发音隐状态hlstm,该隐状态表示为:hlstm=LSTM(Inputvector);
步骤2.2、采用文本卷积编码器根据发音词典直接将字符转id,然后通过embedding嵌入获得音素嵌入hconv,嵌入维度为256;
步骤2.3、基于步骤2.1和步骤2.2获得的两个音素粒度的隐状态值,通过交叉注意力机制将细粒度发音隐状态hlstm融合到文本编码器的输出向量hconv中,从而增加编码器输出的特征信息;最后,采用残差网络结构对编码器的输出进行进一步处理,其中细粒度发音隐状态hlstm作为交叉注意力的k和v,文本编码器的输出向量hconv作为q,计算如下:hatt=Cross_att(hconv,hlstm,hlstm)
hatt表示交叉注意力的输出;
注意力输出再与编码器相加送入到层归一化中:
hl_n=nn.layernorm(hatt+dropout(hconv))在归一化层之后,首先接一个线性层,然后经过ReLU激活函数,接着再通过一个线性层;最后,将该线性层的输出与hl_n相加,从而得到编码器的最终输出表示hout,计算如下:hout=nn.laynorm(fc(max(0,fc(hl_n)))+dropout(hl_n))fc表示线性层、dropout(hl_n)表示对归一化层的输出hl_n应用Dropout操作,减少模型对归一化层的输出特征的依赖;
步骤2.4、将Stpe2.3得到的输出hout同时送入解码器和说话人分类器模块中,通过解码器进行语音预测;在说话人分类器模块中,hout首先经过梯度反置模块,确保正向传播时梯度反置模块输出保存不变,然后经过两个线性层,最后通过Softmax函数实现说话人分类预测。
5.根据权利要求1所述的音素知识增强的老-英混合语言语音合成方法,其特征在于:所述步骤3的具体步骤为:步骤3.1、将训练好的“.pt”格式模型部署到服务器端上,通过调用该模型,实现多用户并发请求的功能,构建了一个老挝语-英语混合语言语音合成装置,该装置包括客户端和服务端;
步骤3.2、用户将原始待合成的老挝语文本输入合成装置客户端,客户端将输入的文本传递给服务器端的翻译模型;该模型负责将输入文本合成目标语音,并将合成语音返回到客户端界面上播放。
6.音素知识增强的老-英混合语言语音合成装置,其特征在于,包括:用于执行如权利要求1至5任一项所述音素知识增强的老-英混合语言语音合成方法的模块。
7.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至5任一项所述音素知识增强的老-英混合语言语音合成方法。
8.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述音素知识增强的老-英混合语言语音合成方法。
9.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至5任一项所述音素知识增强的老-英混合语言语音合成方法。