欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023118111652
申请人: 苏州大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种文本视频检索方法,其特征在于,包括:

获取文本数据集,将文本样本输入文本编码器与文本动量编码器,获取对应的编码文本特征与动量文本特征;

获取视频数据集,分别获取所述视频数据集中每个视频数据的多帧样本图像;将每个视频数据对应的多帧样本图像分别输入至视觉编码器与视觉动量编码器,提取每一帧样本图像的编码图像特征与动量图像特征;

对于每个视频数据,将其对应的多帧样本图像的编码图像特征,输入帧选择模块,获取每帧样本图像的重要性分数;所述帧选择模块包括多层感知机;

基于文本数据集中任一文本样本的动量文本特征与每帧样本图像的动量图像特征之间的余弦相似度,获取每帧样本图像的相关性分数;

基于所述重要性分数与所述相关性分数,构建约束每个视频数据的多帧样本图像的重要性分数与相关性分数分布一致的散度损失函数;

基于所述文本数据集与视频数据集训练所述帧选择模块,直至散度损失函数收敛,获取预先训练好的帧选择模块;

获取待检测文本及其对应的检索视频集,输入包含所述预先训练好的帧选择模块的文本视频检索模型中,其包括:利用视觉编码器,提取所述检索视频集中每个检索视频数据内多帧样本图像的编码图像特征;将每个检索视频数据的多个编码图像特征输入预先训练好的帧选择模块中,获取重要性分数;

将每个检索视频数据的多帧样本图像的重要性分数由大到小排序,获取前K个重要性分数所对应的样本图像,作为K帧优化关键帧;

利用每帧优化关键帧的重要性分数,对其所对应的编码图像特征进行加权,获取加权特征;将每个检索视频数据对应的K帧优化关键帧的加权特征进行聚合,获取每个检索视频数据的优化视频特征;

利用文本编码器获取待检测文本的编码文本特征,计算待检测文本的编码文本特征与每个检索视频数据的优化视频特征的相似度,获取相似度最高所对应的检索视频数据,为待检测文本的相关视频。

2.根据权利要求1所述的文本视频检索方法,其特征在于,所述对于每个视频数据,将其对应的多帧样本图像的编码图像特征,输入帧选择模块,获取每帧样本图像的重要性分数,包括:对于每个视频数据将其对应的多帧样本图像输入帧选择模块,获取每帧样本图像的重要性分数,表示为:;

其中,每个视频数据中所有图像样本的重要性分数集合,表示为 ,

表示每个视频数据中预采样获取的样本图像的个数; 表示视频数据中第 帧图像样本的编码图像特征; 表示多层感知机; 表示归一化指数函数。

3.根据权利要求2所述的文本视频检索方法,其特征在于,所述基于文本数据集中任一文本样本的动量文本特征与每帧样本图像的动量图像特征之间的余弦相似度,获取每帧样本图像的相关性分数,包括:计算任一文本样本的动量文本特征与每帧样本图像的动量图像特征之间的余弦相似度,获取样本图像关于该文本样本的相关性分数 ,表示为: ;

每个视频数据的N帧样本图像对应的相关性分数,组成该视频数据的伪标签集合,表示为: ;

其中, 表示动量文本特征, 表示第 帧样本图像的动量图像特征, 表示第 帧样本图像关于文本样本的相关性分数,N表示每个视频数据中样本图像的帧数。

4.根据权利要求3所述的文本视频检索方法,其特征在于,所述基于所述重要性分数与所述相关性分数,构建约束每个视频数据的多帧样本图像的重要性分数与相关性分数分布一致的散度损失函数,表示为:;

其中, 表示散度损失函数,KL()表示KL散度,B表示训练批次, 表示训练批次中第 个视频数据的重要性分数集合, 表示训练批次中第 个视频数据的伪标签集合; 表示训练批次中第 个视频数据中第 帧样本图像的相关性得分, 表示训练批次中第 个视频数据中第 帧样本图像的重要性得分。

5.根据权利要求1所述的文本视频检索方法,其特征在于,所述利用每帧优化关键帧的重要性分数,对其所对应的编码图像特征进行加权,获取加权特征;将每个检索视频数据对应的K帧优化关键帧的加权特征进行聚合,获取每个视频数据的优化视频特征,包括:基于每个优化关键帧的重要性分数 ,加权该优化关键帧对应的编码图像特征 ,获取加权特征,表示为: ;

对每个检索视频数据,将其K个优化关键帧对应的样本图像的加权特征进行求和,获取该检索视频数据的视频特征 ,表示为: ;

其中, 表示第 帧优化关键帧的重要性分数, 表示第 帧优化关键帧的编码图像特征,表示优化关键帧总个数, 表示归一化指数函数。

6.根据权利要求1所述的文本视频检索方法,其特征在于,所述获取预先训练好的帧选择模块后,还包括:在视频数据集中,对于每个视频数据,将其对应的多帧样本图像的编码图像特征,输入预先训练好的帧选择模块,获取每帧样本图像的重要性分数;并按照重要性分数由大到小的顺序,选择K帧样本图像,作为视频数据的K帧关键帧;

在每个视频数据中,利用每帧关键帧的重要性分数,对其所对应的编码图像特征进行加权,获取K个加权特征后求和,获取该视频数据的视频特征;

基于文本样本的编码文本特征与每个视频数据的视频特征之间的余弦相似度,构建文本到视频的对比损失 ,表示为:;

基于文本样本的编码文本特征与每个视频数据的视频特征之间的余弦相似度,构建视频到文本的对比损失 ,表示为:;

基于文本到视频的对比损失和视频到文本的对比损失,构建视频文本对比损失 ,表示为:;

基于文本数据集与视频数据集训练帧选择模块,直至视频文本对比损失 与散度损失函数收敛,获取预先训练好的帧选择模块;

其中,表示训练批次,表示可学习温度参数, 表示余弦相似度, 表示训练批次中第m个视频数据的视频特征, 表示训练批次中第n个视频数据的视频特征, 表示训练批次中第m个文本样本的编码文本特征, 表示训练批次中第n个文本样本的编码文本特征;1≤m≤B,1≤n≤B。

7.根据权利要求1所述的文本视频检索方法,其特征在于,所述获取预先训练好的帧选择模块后,还包括:在视频数据集中,对于每个视频数据,将其对应的多帧样本图像的编码图像特征,输入预先训练好的帧选择模块,获取每帧样本图像的重要性分数;并按照重要性分数由大到小的顺序,选择K帧样本图像,作为视频数据的K帧关键帧;

将文本样本的编码文本特征与视频数据的K帧关键帧所对应的编码图像特征,输入视频文本多模态编码器中,获取多模态融合特征;

将所述多模态融合特征输入二分类器,获取二分类概率;

基于二分类概率与视频文本匹配真实标签的交叉熵函数的期望,构建视频文本匹配损失;

基于所述视频文本匹配损失,对所述预先训练好的帧选择模块进行优化,直至视频文本匹配损失收敛,获取预训练好的帧选择模块。

8.根据权利要求7所述的文本视频检索方法,其特征在于,所述基于二分类概率与视频文本匹配真实标签的交叉熵函数的期望,构建视频文本匹配损失,表示为:;

其中, 表示匹配损失函数; 为二维one‑hot向量,表示视频文本匹配真实标签; 表示二分类概率; 表示交叉熵损失函数 在文本数据集与视频数据集中数据分布满足(V,T)~D下的期望。

9.根据权利要求1所述的文本视频检索方法,其特征在于,所述文本编码器为Bert,所述视觉编码器为Vision Transformer。

10.一种文本视频检索装置,其特征在于,包括:

特征提取模块,用于获取文本数据集,将文本样本输入文本编码器与文本动量编码器,获取对应的编码文本特征与动量文本特征;获取视频数据集,分别获取所述视频数据集中每个视频数据的多帧样本图像;将每个视频数据对应的多帧样本图像分别输入至视觉编码器与视觉动量编码器,提取每一帧样本图像的编码图像特征与动量图像特征;

重要性分数计算模块,用于对于每个视频数据,将其对应的多帧样本图像的编码图像特征,输入帧选择模块,获取每帧样本图像的重要性分数;所述帧选择模块包括多层感知机;

相关性分数计算模块,用于基于文本数据集中任一文本样本的动量文本特征与每帧样本图像的动量图像特征之间的余弦相似度,获取每帧样本图像的相关性分数;

训练模块,用于基于所述重要性分数与所述相关性分数,构建约束每个视频数据的多帧样本图像的重要性分数与相关性分数分布一致的散度损失函数;基于所述文本数据集与视频数据集训练所述帧选择模块,直至散度损失函数收敛,获取预先训练好的帧选择模块;

检索模块,用于获取待检测文本及其对应的检索视频集,输入包含所述预先训练好的帧选择模块的文本视频检索模型中,其包括:利用视觉编码器,提取所述检索视频集中每个检索视频数据内多帧样本图像的编码图像特征;将每个检索视频数据的多个编码图像特征输入预先训练好的帧选择模块中,获取重要性分数;将每个检索视频数据的多帧样本图像的重要性分数由大到小排序,获取前K个重要性分数所对应的样本图像,作为K帧优化关键帧;利用每帧优化关键帧的重要性分数,对其所对应的编码图像特征进行加权,获取加权特征;将每个检索视频数据对应的K帧优化关键帧的加权特征进行聚合,获取每个检索视频数据的优化视频特征;利用文本编码器获取待检测文本的编码文本特征,计算待检测文本的编码文本特征与每个检索视频数据的优化视频特征的相似度,获取相似度最高所对应的检索视频数据,为待检测文本的相关视频。