1.依存结构知识指导的端到端越南语语音合成方法,其特征在于:所述方法的具体步骤如下:Step1、越南语语音合成数据预处理:将越南语文本数据进行数据清洗,音频数据标注,构建越南语依存结构树,构建越南语依存结构图;
Step2、依存结构知识指导的端到端越南语语音合成:在编码端和解码端融入越南语依存结构树外部指导知识,提升合成音频的韵律表现力;同时在注意力机制层面结合基于越南语依存结构图构建的掩码矩阵,在隐式层面指导越南语文本‑语音的单调性对齐关系建模,提升合成模型稳定性。
2.根据权利要求1所述的依存结构知识指导的端到端越南语语音合成方法,其特征在于:所述Step1的具体步骤为:Step1.1、越南语文本数据清洗:去除越南语文本中的乱码字符,越南语字体统一编码转换变成Unicode字体;
Step1.2、音频数据标注:对越南语文本进行发音构建越南语音频数据集,音频采样率统一为222050hz;
Step1.3、构建越南语依存结构树:对越南语进行依存结构解析,将解析结果转化为越南语句子的依存结构树;
Step1.4、构建越南语依存结构图:扩展越南语依存结构树的连接关系,通过添加反向连接将越南语依存结构树中的单向连接变为双向连接,从而构建越南语依存结构图,当两个词语存在依存关系时,在依存矩阵中使用“0”进行标记,其余的标记为“‑inf”。
3.根据权利要求1所述的依存结构知识指导的端到端越南语语音合成方法,其特征在于:所述Step2的具体步骤为:Step2.1、编码端包括越南语依存结构编码端与融合依存结构知识的文本编码端两个部分,因此编码端的隐状态输出公式如下:He=FFN(cross_attne(he,attn(Qtree,Ktree,Vtree),attn(Qtree,Ktree,Vtree)))其中,he表示文本编码端双向长短期记忆层的隐状态输出;cross_attne表示文本编码端的交叉注意力机制;Qtree,Ktree,Vtree表示越南语依存结构树信息,attn(Qtree,Ktree,Vtree)表示越南语依存结构编码端的隐状态输出;
Step2.2、依存结构编码端包含依存结构图增强的依存结构感知注意力机制,使用提取依存结构图约束下的稀疏数据的重要特征以及捕捉数据或特征的内部相关性;通过这种掩码注意力方式来使得依存结构树在进行自注意力以及交叉注意力时,每一个词语对该词语依存的词语和依存于该词语的词语进行重点关注而非对句子中的所有词语都进行关注;
用attnt(Qtree,Ktree,Vtree)表示依存层的自注意力机制,注意力机制原理如下:其中,Qtree,Ktree,Vtree都代表通过嵌入层后的依存结构树,Mtree代表基于依存结构图构建的MASK矩阵。