欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202210803360X
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种越南语语音识别语料构建方法,其特征在于:所述方法的包含两个过程和10个步骤如下:训练过程包括:

(1)收集包含越南语对应的语音和文本作为训练语料和测试语料;

(2)对数据集的文本进行预处理,将越南语文本转换成越南语音素;

(3)对音频进行预处理,切除静音片段;

(4)在步骤(2)的基础上构建音素粒度的词表;

(5)对预训练语音编码器进行微调;

(6)对预训练文本编码器重新预训练;

(7)将微调好语音编码器和预训练的文本编码器的参数初始化给对齐模型的语音编码器和文本编码器;

(8)使用CTC‑混合交叉注意力对语音特征和文本特征进行联合训练;

解析过程包括:

(9)将一段语音和文本送入训练好的对齐模型;

(10)模型通过CTC‑混合交叉注意力对对齐结果进行二次语义对齐得到对齐结果。

2.根据权利要求1所述的越南语语音识别语料构建方法,其特征在于,所述(2)中对开源语音识别数据集进行了文本预处理,包括:数据清洗,数据清洗包括去除标点、数字、英文以及非法字符、统一Unicode编码、使用越南语转音素工具Viphoneme对越南语文本转换成音素。

3.根据权利要求1所述的越南语语音识别语料构建方法,其特征在于,所述(5)中,其中语音编码器使用Wav2vec2的预训练模型,该模型由7层卷积神经网络和12层transformer网络组合而成,能够缩短语音的序列长度并将语音编码成一个隐藏层维度为768的向量,该模型需要使用无监督语音预训练好,再使用有标签的越南语语音识别数据微调得到。

4.根据权利要求1所述的越南语语音识别语料构建方法,其特征在于,所述(6)中,其中文本编码器使用预训练文本编码器Bert,该模型采取比原Bert小的模型参数,其中隐藏层为4层。

5.根据权利要求1所述的越南语语音识别语料构建方法,其特征在于,所述(8)中,使用S P混合交叉注意力对语音表征X 和文本表征Y 进行语义对齐,其中的得到的语音表征为其中 表示语音编码器,得到的文本特征 其中 为文本编码器;根据chunk分块将交叉注意力的局部注意力中的参数 全局注意力参数分别分块得到互不重叠的划分子序列 A矩阵表示语音序列与文本序列之间的相似度矩阵;

X

H=concatenate[Z,Og]             (9)X

如公式(1)所示局部注意力中的参数 是通过语音表征Z 仿射变换得到,其中WQ,WK, 为模型线性层参数;如公式(2) 通过对 按组切分补齐得到, 为 的相似度矩阵;如公式(3)通过relu非线性激活函数计算出局部注意力参数的相似度矩阵;如公式(4),通过softmax函数将相似度矩阵映射到0到

1之间,交叉注意力机制模型将学习一个对齐矩阵 其中N为文本序列长度,T为语音序列长度,用于对齐语音序列和音素文本序列;如公式(5),通过注意加权得到如公式(6)、公式(7),全局注意力同理;如公式(7),将局部特征与全局特征相加再通过仿射X变化得到Og;如公式(9),将语音表征Z和公式(8)所得特征进行拼接得到H其中H用于CTC损失函数训练;

局部查询向量;

局部被查询信息与其他信息的相关性向量;

由局部查询向量 与局部被查询信息与其他信息的相关性向量 计算得到的局部注意力相似度矩阵;b是偏置矩阵;

局部信息矩阵;

由局部注意力相似度矩阵与局部信息矩阵运算得到的加权局部信息矩阵;

全局查询向量;

全局被查询信息与其他信息的相关性向量;

全局信息矩阵;

加权全局信息矩阵;

Wo:神经网络模型中的可学习的参数矩阵。

Ug:神经网络中的门控参数矩阵。

6.根据权利要求1所述的越南语语音识别语料构建方法,其特征在于,所述(10)中,对于首次CTC对齐置信度小于阈值的结果需要使用混合交叉注意力进行二次语义对齐;越南语语音文本对齐模型中有两个解码器输出,分别是wav2vec经过线性层输出的越南语语音语越南语音素词表的概率矩阵 其中C为词表的大小;混合交叉注意力得到的越南语语音语越南语音素文本相似度矩阵 由概率矩阵F得到其中每一帧对应的字符概率kj,t=p(cj|t,F)=Fc,t,c∈[1,N],t∈[1,T],这样利用动态规划算法得到对齐最大联合概率如公式(10)所示;

其中p(blank|t)为当前时刻t为空白字符的概率,将第一个字符的转移概率设为零,然后计算当下一个字符为空白符或者为下一个字符时的最大转移概率,令当前最后一个字符概率为t=argmaxt′(k′t,N‑1),然后通过回溯转移概率矩阵kj,t找到字符与帧对应的一条概率最大的路径,得到对齐关系St,如公式(11)所示;

att

通过最小化平均概率能惩罚由于错误的匹配产生的概率得到对齐关系S =[x1=y1,...,xi=yj,xi+1=yj,...,xt=yn];N:当前文本的长度,为正整数;

j:为概率矩阵F的下标,0≤j≤N且j为整数;xi:i为下标,表示某一时刻的语音帧,0≤i≤T,其中T为语音的帧长,yj:j为下标,表示某一时刻对应的字符,0≤j≤N.其中N为文本的长度;xt:t为下标,表示t时刻对应的语音帧,0≤t≤T.其中T为语音的帧长;yn:n为下标,表示第n个字符,0≤n≤N.其中N为文本的长度。