欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022103772003
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于变分自编码的视频引导机器翻译方法,其特征在于:所述方法的具体步骤如下:Step1、构建汉越可比语料数据集;通过网络爬虫技术收集并构建汉越数据集,汉越数据集包括视频以及视频对应的汉越平行句对,利用负采样获得非平行数据,通过人工对数据集进行标注得到汉越可比语料数据集;

Step2、获取视频的局部特征,从源语言句子中选择出短语,利用时空注意力模型从视频的局部特征中选择出关键局部特征;然后将选择出的短语和关键局部特征输入到变分自编码器中生成隐向量;最后将源句子特征和隐向量输入到Transformer解码器中通过信息增强的方式将源语言和目标语言的语义对齐。

2.根据权利要求1所述的基于变分自编码的视频引导机器翻译方法,其特征在于:所述Step1中,汉越平行数据来源包括汉越新闻网、微博、Facebook、Tiktok。

3.根据权利要求1或2所述的基于变分自编码的视频引导机器翻译方法,其特征在于:所述Step1的具体步骤如下:

Step1.1、通过网络爬虫技术获取视频以及视频对应的汉越平行句对数据,利用负采样获得非平行数据,数据来源包括汉越新闻网、微博、Facebook、Tiktok;

Step1.2、对爬取的数据进行过滤筛选,过滤筛选的方式如下所示:(1)、去除文本内容中的多余符号、超链接和特殊字符;(2)、去除与视频无关的话语;(3)、去除汉越不平行的句对;

Step1.3、采用人工标注,获得汉越可比语料数据集;对同一个视频的5局不同的中文描述打上5局越南语描述的标签,人工对视频与视频描述不符的数据集进行筛选。

4.根据权利要求1所述的基于变分自编码的视频引导机器翻译方法,其特征在于:所述Step2的具体步骤如下:Step2.1、获取视频的局部特征,从源语言句子中选择出短语,利用时空注意力模型从视频的局部特征中选择出关键局部特征;

Step2.2、使用隐变量,将短语与视频的关键局部特征的语义信息进行建模;提出了一种条件变分自编码的框架,在短语级视频数据集设置了一个边界,即最大化边界似然对数为:(i) 2(i) (i)

其中,近似后验的均值μ 和方差σ 为编码的输出,即数据点x 是变分参数的非线性(l)函数,然后,从隐向量的z取样,其中 其中ε ~N(0,I),I为正态分布上限,使用SGVB的估计量,其中KL散度能在不需要估计下计算和区分;对于短语级视频数据集,设置了一个最大的边界值:其中d为输入的短语,v为局部特征,pω(z|v)是先验知识概率分布, 是近似后验知识概率分布,pθ(d|z,v)是解码器,并且,pω是高斯分布模型:2

pω(z|v)=N(z;μp(v),σp(v) I)         (3)μp(v)=Linear(v),           (4)σp(v)=Linear(v),          (5)公式中Linear()表示的是线性变换,同样,它也是一个高斯分布模型:μq(d,v)=Linear([RNN(d),v])         (7)σq(d,v)=Linear([RNN(d),v]),       (8)其中RNN()表示单层循神经网络,并根据RNN的最终隐状态计算均值和方差向量,在反向传播更新参数的时候,使用重参数化技巧,通过 对进行抽样,即z=μq+σq⊙ε,ε~N(0,I)           (9)解码器pθ(d|z,v)也是单层单项的循环神经网络,解码器RNN的初始隐状态为:s=Linear([z,v])         (10)

Step2.3、通过Transformer解码器将源句子特征和隐向量作为输入解码到目标语言;

Transformer的解码器与编码器相同,由L个相同的堆栈组成,每层包含两个子层,第一个子层为自注意力模块,第二个子层为全连接前馈层,在两个子层进行残差连接,对其进行归一化处理,并且他还包含了一个额外的注意子层,用于计算编码器堆栈H输出的对其权值:其中 是query,key,value向量, 是计算1‑1层得到的线性函数,在时间步长j中(1‑1)层的 转换而来, 是从编码器的第L层传来的,解码器 的顶层通过一个线性的多层感知函数来生成下一个目标词yi:其中Wo和Ww是映射矩阵,和源句子一样,目标句也包含短语,因此,首先利用spacy工具从目标参考翻译y中设备出短语b,然后,引入一个附加损失项的测量内容,对参加翻译模型内容的翻译单词设置一个激励,所以目标词的损失函数为:其中m为多头注意力个数。