1.融合外部语言知识的流式越南语语音识别方法,其特征在于:所述方法的具体步骤如下:Step1、收集越南语单语文本作为语言模型的训练预料;
Step2、使用收集的越南语文本语料预训练transformer语言模型;
Step3、将预训练transformer语言模型在训练阶段融合到流式Hybrid CTC/Attention语音识别模型中。
2.根据权利要求1所述的融合外部语言知识的流式越南语语音识别方法,其特征在于:所述Step1的具体步骤为:
Step1.1、使用爬虫爬取不同网站和领域的越南语单语文本,由于每个网站使用的文本编码格式不同,统一全部文本语料使用utf‑8编码;
Step1.2、去除越南语单语文本中的乱码、数字;
Step1.3、根据训练要求切分越南语单语本段落,适应语言模型的训练。
3.根据权利要求1所述的融合外部语言知识的流式越南语语音识别方法,其特征在于:所述Step2中使用Transformer‑xl作为越南语语言模型。
4.根据权利要求2所述的融合外部语言知识的流式越南语语音识别方法,其特征在于:所述Step3的具体步骤为:
Step3.1、将越南语语言模型输出的PLM作为真实分布,Transformer解码器输出的PAED作为理论数据分布,使用KL散度来计算Transformer解码器与越南语Transformer‑xl语言模型的融合损失函数;实现原理如下:令LAED‑LM损失函数等于DKL(PLM||PAED)并使其最小化;
Step3.2、在融合过后,引入了一个语言模型融合超参数α(0≤α<1),用来调节Transformer解码器LAED损失函数和LAED‑LM损失函数;使联合损失函数为LJoint,其计算过程如下:LJoint=(1‑α)LAED+αLAED‑LM
Step3.3、训练的联合损失函数与传统Hybrid CTC/Attention模型损失函数类似,不同的是将Attention损失函数修改为Transformer解码器融合了越南语语言模型的损失函数,其计算过程如下所示:Loss=λLCTC+(1‑λ)LJoint
其中λ(0≤λ<1)参数表示CTC权重参数;LCTC表示Hybrid CTC/Attention模型CTC解码器的损失函数;
Step3.4、流式越南语语音识别模型最后使用Loss损失函数来训练;这种训练方式能让融合损失函数LAED‑LM在训练阶段同时优化CTC解码器和Transformer解码器的参数,帮助CTC和Transformer解码器联合学习到越南语语言知识从而提升流式越南语语音识别模型的识别率。
5.根据权利要求1所述的融合外部语言知识的流式越南语语音识别方法,其特征在于:还包括步骤Step4、用训练好的模型进行语言识别时,在解码阶段使用Shallow Fusion或WFST再次融合预训练好的语言模型进行语言识别。