欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025100094933
申请人: 浙江工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于跨模态对齐的多粒度手语视频-文本检索方法,其特征在于,首先通过自监督方法增强手语视频表征;再通过时间注意力同时考虑视频片段间和视频片段内信息的相关性优化视频片段特征,利用时间协方差池化将视频片段特征聚合为手语视频粗粒度特征,联合细粒度信息充分挖掘手语视频和文本间的跨模态多粒度对齐信息,使用CLIP的图像编码器Vision Transformer提取手语视频集合中的每一个手语视频的细粒度特征,使用CLIP的文本编码器Text Transformer提取手语视频对应的文本描述集合中的每一个文本描述的细粒度特征,计算手语视频集合中的每一个手语视频的细粒度特征和手语视频对应的文本描述集合中的每一个文本的细粒度特征的相似度矩阵;接着利用共享注意力残差高斯分布网络将手语视频和文本参数化为特征分布,通过对齐特征分布缓解手语视频与文本的模态差距,计算文本和手语视频细粒度对齐的损失函数以及计算文本和手语视频粗粒度对齐的损失函数;最后通过计算文本到手语视频的细粒度相似度分数,来检索与查询文本相匹配的手语视频。

2.如权利要求1所述的一种基于跨模态对齐的多粒度手语视频-文本检索方法,其特征在于,所述方法包括以下步骤:步骤一、手语视频集合表示为,其中m为手语视频的数量,为第1个手语视频,为第2个手语视频,为第i个手语视频,为第m个手语视频,手语视频对应的文本描述集合表示为;查询文本检索到的手语视频结果构成视频文本对;

步骤二、任意选取一个手语视频,使用随机剪裁和增加噪声两种方法分别获得两个增强手语视频和;遍历整个手语视频集合,使用此方法分别获得两个增强的手语视频集合和;

步骤三、使用I3D网络当做编码器提取三个手语视频集合中的每一个手语视频的手语特征;

其中,,表示在BSL-1k数据集做过预训练的I3D通用域手语编码器,表示用于微调的I3D特定领域手语编码器;

步骤四、使用CLIP的图像编码器Vision Transformer提取三个手语视频集合中的每一个手语视频的细粒度特征;

其中,,表示手语视频的第j个视频片段的手语特征,j=1,2...,,表示在单个视频样本中在时间维度上等间隔选择的视频片段的数量;

步骤五、计算手语视频集合中每一随机组对的手语视频的细粒度特征相似度矩阵:;

其中,,,表示转置操作,表示按行执行softmax计算;

步骤六、计算手语视频集合中每一随机组对的手语视频的视频级别的粗粒度相似度分数:;

其中,,,表示相似度矩阵中第m行第n列的值,表示只取矩阵中的对角线元素;

步骤七、计算视频相似性学习的InfoNCE损失;

其中,是一个可学习的温度参数,B表示同一批次中视频的数量;

步骤八、使用CLIP的文本编码器Text Transformer提取手语视频对应的文本描述集合中的每一个文本描述的细粒度特征;

其中,,表示文本的第k个单词,k=1,2...,,表示文本中的单词数量,[CLS]表示添加在文本前面的标记;将[CLS]的表示作为文本描述的粗粒度特征;

步骤九、计算手语视频集合中的每一个手语视频的基于时间通道注意力的中间特征;

其中,,表示中第个手语视频片段的基于时间通道注意力的中间特征,表示中第个手语视频片段的特征值,表示全局平均池化,;

其中,表示第一个激活函数,表示第二个激活函数,表示卷积核大小为1×1的卷积层;遍历中的所有特征值,得到;

步骤十、计算手语视频集合中的每一个手语视频的基于时间空间注意力的中间特征;

其中,,表示中第个手语视频片段的基于时间空间注意力的中间特征,表示softmax操作,表示批归一化操作,表示逐元素相加,表示矩阵乘法;遍历中的所有特征值,得到;

步骤十一、计算手语视频集合中的每一个手语视频的手语特征经过时间通道注意力和时间通道注意力校准的手语视频片段特征;

其中,,⊙表示逐元素相乘;

步骤十二、计算手语视频集合中的每一个手语视频的粗粒度特征;

其中,代表时间协方差池化,代表矩阵幂归一化,代表全连接层;

步骤十三、计算手语视频集合中的每一个手语视频的细粒度特征和手语视频对应的文本描述集合中的每一个文本的细粒度特征的相似度矩阵:;

其中,,;

步骤十四、计算手语视频集合中的每一个手语视频和手语视频对应的文本描述集合中的每一个文本之间的文本到手语视频的细粒度相似度矩阵:;

其中,表示按列执行softmax计算;则文本到手语视频的细粒度相似度分数表示为:;

其中,表示求平均值,表示矩阵按列求和;

步骤十五、计算手语视频集合中的每一个手语视频和文本描述集合中每一个文本之间的手语视频到文本的细粒度相似度矩阵:;

则手语视频到文本的细粒度的相似度分数表示为:;

其中,表示矩阵按行求和;

步骤十六、计算手语视频集合中的每一个手语视频和文本描述集合中每一个文本之间的文本到手语视频的粗粒度相似度分数:;

其中,表示取模操作,表示手语视频的粗粒度视频特征,表示文本的粗粒度句子特征;

步骤十七、计算手语视频集合中的每一个手语视频和文本描述集合中每一个文本之间的手语视频到文本的粗粒度相似度分数:;

步骤十八、计算文本和手语视频细粒度对齐的InfoNCE损失函数;

其中,是可学习的温度系数,B表示同一批次中视频文本对的数量;

步骤十九、计算文本和手语视频粗粒度对齐的InfoNCE损失函数,;

步骤二十、使用共享注意力残差高斯分布网络获取手语视频集合中的每一个手语视频的细粒度特征分布的均值和方差:;

其中,,是点积注意力,和分别表示特征分布的均值向量和方差向量,表示线性网络层;则参数化为多元高斯分布:;

步骤二十一、利用共享注意力残差高斯分布网络获取文本描述集合中每一个文本的细粒度特征分布的均值和方差:;

其中,,和表示特征分布相对于特征分布的相对位置和相对尺度,代表线性网络层;则参数化为多元高斯分布:;

步骤二十二、根据从标准高斯噪声中采样的相同噪声和重参数化,计算KL散度损失,;

步骤二十三、计算总体损失函数,

;

其中,是粗粒度对齐损失的比例,是视频相似度损失的比例,是高斯分布对齐损失的比例;

步骤二十四、重复执行步骤四~步骤二十三,当小于指定的最小损失值后,结束计算;

步骤二十五、对于查询文本,选择文本到手语视频的细粒度相似度分数最高的手语视频作为检索结果。