欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022108237005
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 乐器;声学
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于多特征融合的越南语到英语的语音到文本翻译方法,其特征在于,所述方法的具体步骤为:

Step1、特征提取:针对越南语音频序列分别提取人工的滤波器组Fbank频谱特征和音高Pitch特征,以及自监督特征Wav2vec2;

Step2、多特征融合的编码器构建:在步骤Step1的基础上,选取不同编码方式对不同类型的特征进行编码;针对自监督特征进行卷积编码,针对人工的频谱特征和音高特征使用基于Transformer块交替编码块进行交替编码,使用基于交叉注意力机制融合层对自监督特征、频谱特征和音高特征的两类编码表征进行融合,获得最终编码输出表征;

Step3、多特征融合的越南语到英语语音翻译装置的构建:在步骤Step1、Step2的基础上,先进行特征提取,输入到多特征融合编码器中得到输出表征后,将编码输出表征向量输入到Transformer解码器,得到向量序列在目标词表上的概率分布,采用MBGD算法,训练语音翻译模型,构建越南语-英语语音翻译装置;

Step4、多特征融合的越南语到英语语音翻译:在步骤Step1、Step2、Step3的基础上,对需要翻译的越南语语音先进行Fbank、Wav2vec2以及Pitch三种特征的提取,将三种类型的特征作为翻译模型的输入向量,利用翻译装置获得最终的翻译结果。

2.根据权利要求1所述的基于多特征融合的越南语到英语的语音到文本翻译方法,其特征在于:所述Step1的具体步骤为:

Step1.1:对采样率为16000的越南语音频序列分别提取80维的Fbank特征、1维的Pitch特征和512维的Wav2vec2特征;其中,Fbank特征的提取设置帧移为10ms,每帧窗口大小为25ms,使用80维的滤波器组;Pitch特征使用语音信号的基频特征,搜索频率范围设置为50Hz至400Hz;Wav2vec2特征使用使用在100小时越南语音频上预训练的Wav2vec2模型提取512维的语音特征。

3.根据权利要求1所述的基于多特征融合的越南语到英语的语音到文本翻译方法,其特征在于:所述Step2的具体步骤为:

Step2.1:针对Fbank特征和Pitch特征,基于Transformer架构,使用Fbank编码块和Fbank-Pitch混合编码块交替编码的方式进行编码;在一个交替周期C内,包含C-1个Fbank编码块和1个Fbank-Pitch混合编码块,每个编码块均对Fbank特征进行编码,间隔多个块对Pitch特征进行编码,得到频谱编码表征;

Step2.2:针对Wav2vec2特征,基于CNN进行编码,得到自监督编码表征;

Step2.3:针对Step2.1和Step2.2输出的频谱表征和自监督表征,使用交叉注意力机制进行两类表征的对齐和融合,实现不同类型表征的互补和增强。

4.根据权利要求1所述的基于多特征融合的越南语到英语的语音到文本翻译方法,其特征在于:所述Step3的具体步骤为:

Step3.1:使用多特征融合的编码器和Transformer解码器构建越南语-英语语音翻译模型,使用越南语-英语的语音翻译数据进行训练;对越南语音频分别提取Fbank特征、Wav2vec2特征和Pitch特征,作为编码器输入;使用交替特征编码层对Fbank和Pitch两种频谱特征进行混合编码输出频谱表征,通过加入越南语的音调信息增强模型对语义信息的表征能力;使用Wav2vec2编码层对Wav2vec2特征进行编码输出自监督表征;将频谱表征和自监督表征输人到表征融合层,通过交叉注意力机制学习表征间的对齐和融合,实现不同类型表征间的互补,得到最终的编码器输出表征,最终,将编码器输出表征输入解码器,输出目标语言文本词序列。

5.根据权利要求1所述的基于多特征融合的越南语到英语的语音到文本翻译方法,其特征在于:所述Step4的具体步骤为:

Step4.1:在进行越南语到英语的语音翻译时,先对输入的音频提取三种Fbank、Pitch和Wav2vec2语音特征,翻译装置将三种特征作为编码器输入,通过交叉注意力机制和交替编码实现多特征融合,获得包含声学信和语义信息的编码端输出表征,该表征与目标文本词嵌入共同输入解码器进行解码,输出目标语言文本词序列的概率分布。