欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023110407579
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.融合发音特征的越南语语音识别文本纠错方法,其特征在于:所述方法包括如下:步骤1、收集越南语带有错误的源文本序列数据集;

步骤2、构建编码器:采用标准非自回归Transformer编解码结构构建编码器;

步骤3、把带有错误的源文本序列作为构建好的编码器的输入序列输入到编码器,提取出越南语文本的发音特征和文本特征并通过交叉注意力机制进行融合后再与文本特征残差连接,得到最终的混合特征矩阵;

步骤4、构建目标序列长度预测模块,把最终的混合特征矩阵作为目标序列长度预测模块的输入,利用构建好的目标序列长度预测模块获取源文本序列到目标序列的编辑距离对齐序列,即操作标签序列,来指导模型解码器平行解码;

步骤5、构建解码器:采用标准非自回归Transformer编解码结构构建解码器,解码器并行地输出目标序列;

步骤6、利用步骤1收集到的数据,Adam作为模型参数优化器,优化模型参数;

所述步骤3的具体步骤如下:

步骤3.1、通过编码器中的现有的文本特征编码器将输入文本以单词为粒度进行词嵌入得到文本特征矩阵 ;

步骤3.2、通过编码器中的现有的国际音标转换模块将输入文本借助Epitra工具将字母映射为音素,即国际音标;

步骤3.3、再通过编码器中的现有的发音特征编码器将音素作为粒度进行词嵌入,得到发音特征矩阵 ;

步骤3.4、再通过发音特征交叉注意力模块中的交叉注意力机制将发音特征矩阵 与文本特征矩阵 进行融合得到混合特征矩阵 ,即:;

Q、K、V分别为注意力机制中的查询向量、键向量和值向量,其中, , ,为注意力头数;CrossAttention是指交叉注意力机制,Softmax表示Softmax函数;

步骤3.5、混合特征矩阵 与原始文本特征矩阵进行残差连接得到最终的混合特征矩阵 : ;

所述步骤4中,所述获取源文本序列到目标序列的编辑距离对齐序列包括两部分:首先对源文本序列和目标序列计算最小编辑距离;之后根据最小编辑距离获取的编辑路径得分选择最优对齐路径,在选择最优对齐路径后,将其余路径上的操作舍弃,只保留最优对齐路径上的操作,之后为最优对齐路径上的输入序列中的每一个单词打上操作标签,其中操作标签包括“删除”、“保留”、“替换”、“插入”,最终得到与目标序列等长的操作标签序列,即源文本序列到目标序列的编辑距离对齐序列;

所述步骤5中,所述解码器以利用目标长度预测模块输出的操作标签序列对源文本序列进行编辑操作后得到的新文本序列作为解码器的输入,这个新文本序列和源文本序列是等长的,解码器对新文本序列进行解码,并行地输出目标序列。

2.融合发音特征的越南语语音识别文本纠错系统,其特征在于,包括用于执行如权利要求1所述的方法的模块。