1.一种基于时空图的跨模态视频时刻定位方法,其特征在于,包括以下步骤:S1、输入未剪辑视频和查询文本,对所述未剪辑视频采用多尺度滑动窗口截取视频片段候选集;
S2、提取文本特征eq和视频片段特征ec,利用预训练的场景图生成模型对视频片段生成时空图表示;
S3、将视频的时空图通过多层图卷积神经网络,获得的时空图特征与视频片段特征拼接,得到富含时空语义信息的视频特征vst;
S4、将含有时空信息的视频特征vst与文本特征eq通过全连接层投影到同一特征空间,进行拼接后获得视频文本模态融合特征fS5、将视频文本模态融合特征f
所述步骤S2包括以下步骤:
S20、利用文本编码器在所述查询文本中提取文本特征eq;
S21、利用预训练的卷积神经网络在所述视频片段候选集中提取视频片段特征ec;
S22、对候选集中每个候选片段的帧利用预训练的场景图生成模型提取用于描述每一帧内物体之间交互的空间图;
S23、根据相邻帧物体特征之间的相似性构建时间图,并在时间域上对物体依赖关系进行建模;
所述步骤S3具体包括以下步骤:
S30、将空间图和时间图输入至多层图卷积神经网络,对每一层图卷积神经网络,将空间图和时间图的图卷积输出结果直接相加:Z=RELU(AS31、将时空图特征与视频片段特征拼接得到具有时空语义信息的视频特征;
所述步骤S4中的投影公式为:
vst_p=RELU(W
其中,W
所述步骤S5中视频文本模态融合特征f
其中,W
2.根据权利要求1所述的基于时空图的跨模态视频时刻定位方法,其特征在于,所述步骤S22具体包括:场景图生成模型判断候选片段中每帧的物体i和物体j是否存在关系,若存在则令物体i到物体j的有向边对候选片段中的每一帧,构建表示物体空间关系的有向图,场景图生成模型检测的物体特征作为节点特征X∈R获得邻接矩阵A
3.根据权利要求2所述的基于时空图的跨模态视频时刻定位方法,其特征在于,所述归一化的公式为:
4.根据权利要求1所述的基于时空图的跨模态视频时刻定位方法,其特征在于,所述步骤S23具体包括:对于帧t中的物体i,计算其和帧t+1中物体j之间的余弦相似度,如果二者之间相似度大于给定阈值,则认为二者是同一物体,令物体i到物体j的有向边为设定值,得到时间图邻接矩阵A
5.根据权利要求1所述的基于时空图的跨模态视频时刻定位方法,其特征在于,所述步骤S5中通过以下公式计算损失函数L对所述场景图生成模型进行训练,在测试阶段选取匹配分数最高的候选片段,将候选片段时间边界加上回归偏移量,得到视频时刻定位边界;
L=L
L
式中,λ、λ
6.根据权利要求1-5任意一项所述的基于时空图的跨模态视频时刻定位方法的系统,其特征在于,包括:多尺度滑动窗口截取模块,用于在输入未剪辑视频和查询文本后,对所述未剪辑视频采用多尺度滑动窗口截取视频片段候选集;
提取训练模块,用于提取文本特征eq和视频片段特征ec,利用预训练的场景图生成模型对视频片段生成时空图表示,其具体实现步骤为:S20、利用文本编码器在所述查询文本中提取文本特征eq;
S21、利用预训练的卷积神经网络在所述视频片段候选集中提取视频片段特征ec;
S22、对候选集中每个候选片段的帧利用预训练的场景图生成模型提取用于描述每一帧内物体之间交互的空间图;
S23、根据相邻帧物体特征之间的相似性构建时间图,并在时间域上对物体依赖关系进行建模;
多层图卷积神经网络模块,用于将视频的时空图通过多层图卷积神经网络,获得的时空图特征与视频片段特征拼接,得到富含时空语义信息的视频特征vst,其具体实现方法为:所述步骤S3具体包括以下步骤:
S30、将空间图和时间图输入至多层图卷积神经网络,对每一层图卷积神经网络,将空间图和时间图的图卷积输出结果直接相加:Z=RELU(AS31、将时空图特征与视频片段特征拼接得到具有时空语义信息的视频特征;
投影模块,用于将含有时空信息的视频特征vst与文本特征eq通过全连接层投影到同一特征空间,进行拼接后获得视频文本模态融合特征f所述步骤S4中的投影公式为:
vst_p=RELU(W
其中,W
所述步骤S5中视频文本模态融合特征f
其中,W
多层感知机网络模块,用于将视频文本模态融合特征f