1.一种基于多模态关系图的视频时刻定位方法,其特征在于包括:其包括以下步骤:步骤S1,输入长视频V及查询语句q;
步骤S2,构建文本关系图和视觉关系图的双通道关系图,通过所述文本关系图过滤所述视觉关系图中的无关对象;
步骤S3,通过预训练任务增强对所述视觉关系图的语义推导能力和特征提取能力;
步骤S4,根据所述查询语句q,利用跨模态检索在所述长视频V中预测得到备选视频,并补充预测所述备选视频的边界的时间偏置,直至得到对应所述查询语句q的视频时刻片段。
2.如权利要求1中所述基于多模态关系图的视频时刻定位方法,其特征在于:上述步骤S2具体包括:步骤Sa,通过提取所述查询语句q中的短语关系来构造所述文本关系图,同时构造所述视觉关系图来捕获所述长视频V中视觉对象之间的关系;
步骤Sb,通过所述文本关系图对所述视觉对象进行过滤,从所述视觉对象中过滤出与文本中的短语相似度最高的候选对象,并将所述候选对象作为所述视觉关系图的节点。
3.如权利要求2中所述基于多模态关系图的视频时刻定位方法,其特征在于:上述步骤Sa中所述文本关系图的构造进一步包括:将关系短语作为一个结点,同时通过名词相似度和关系粗分类的方法在Flickr30K实体数据集上进行处理以确保所述文本关系图中不存在孤立的节点。
4.如权利要求2中所述基于多模态关系图的视频时刻定位方法,其特征在于:上述步骤Sa之后还包括以下步骤:步骤Sc,通过对所述文本关系图的节点特征和所述视觉关系图的节点特征进行优化,捕捉视觉对象之间的动态交互。
5.如权利要求2中所述基于多模态关系图的视频时刻定位方法,其特征在于:上述步骤Sb中,当所述视觉对象的特征与文本对象之间的相似度小于0.5时,设定当前没有相应的视觉对象。
6.如权利要求1中所述基于多模态关系图的视频时刻定位方法,其特征在于:上述步骤S3中所述预训练任务具体包括属性遮掩及上下文预测;
通过所述属性遮掩对显式表达式下的关系节点的特征学习以及对象节点的特征学习进行优化;
通过所述上下文预测进行训练以使特征的表示形式捕获所述长视频中的图的整体结构信息,并在文本语义的约束下基于所述视觉关系图的结构进一步从节点的相邻子图重建视图。
7.如权利要求6中所述基于多模态关系图的视频时刻定位方法,其特征在于:所述上下文预测采用负采样策略进行训练。
8.如权利要求1中所述基于多模态关系图的视频时刻定位方法,其特征在于:上述步骤S4具体包括:Sd,通过图匹配确定所述视觉关系图和所述文本关系图的语义是否相关;
Se,通过边界回归结合全局特征进一步补充所述备选视频的边界的时间偏置,并调整所述备选视频的边界直到收敛,得到对应所述查询语句q的视频时刻片段。
9.一种设备,其特征在于:所述设备包括:
输入模块,所述输入模块用于输入未修剪的长视频V和查询语句q;
提取特征模块,所述提取特征模块用于提取所述查询语句q的特征、所述长视频V的特征,并对上述特征进行优化处理;
预训练模块,所述预训练模块用于定制两个面向跨模态检索的预训练任务,通过预训练任务增强对所述视觉关系图的语义推导能力和特征提取能力;
跨模态检索模块,所述跨模态检索模块用于预测预备视频和所述查询语句q的匹配度,同时补充所述预备视频的边界的时间偏置,调整所述预备视频的边界直到收敛,并得到对应所述查询语句q的视频时刻片段。
所述设备进一步包括处理器以及与所述处理器通信连接的存储器,所述存储器存储有指令,所述处理器通过执行所述指令以使所述处理器能够执行如权利要求1-8中任一项所述的方法。
10.如权利要求9中所述的设备,其特征在于:所述输入模块、所述提取特征模块、所述预训练模块、所述跨模态检索模块全部以硬件形式内嵌于或独立于所述设备的所述处理器中;
或,所述输入模块、所述提取特征模块、所述预训练模块、所述跨模态检索模块全部以软件形式存储于所述设备的所述存储器中,所述处理器调用执行以上各个模块对应的操作。