1.基于时空注意力的视频引导机器翻译方法,其特征在于:所述方法的具体步骤如下:Step1、构建汉越数据集,数据集包括视频以及与视频对应的平行句对,利用负采样获得非平行数据,通过人工对数据集进行标注得到汉越可比语料数据集;
Step2、获取到视频的全局特征,进行目标检测并获取到视频的局部特征,从源语言句子中选择出关键词,利用提出的时空注意力模型从视频特征中选择出关键时空特征,最后将关键词和关键时空特征二者输入到目标语言解码器中;
所述步骤Step1的具体步骤为:
Step1.1、通过网络爬虫技术获取视频以及中越平行数据;
Step1.2、对爬取的数据进行过滤筛选,过滤筛选的方式如下所示:(1)、去除文本内容中的多余符号、超链接和特殊字符;(2)、去除与视频无关的话语;(3)、去除汉越不平行的句对;
Step1.3、采用人工标注,获得汉越可比语料数据集;对同一个视频的5局不同的中文描述打上5局越南语描述的标签,人工对视频与视频描述不符的数据集进行筛选;
所述步骤Step2的具体步骤如下:
Step2.1、通过Faster R-CNN对视频进行目标检测,然后利用空间注意力机制对前top-n个局部特征f其中,vl
其中
当通过局部特征计算出所有
Step2.2、通过对全局特征V[G]={v[g]其中
其中
Step2.3、通过设计了两个时间注意函数计算非标准化相关性得分其中
Step2.4、对于全局特征,采用卷积层为1024维pool5/7×7_s1层,表示为VG={vg模型训练:在训练过程中,所有视频引导机器翻译模型通过最小化负对数似然估计进行端到端训练;然后,使用Adadelta算法和反向传播算法计算梯度,最后通过最大化对数似然估计参数:N个源语言句子、视频、目标语言句子训练对为