欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024113819448
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于缺失感知提示的模态缺失RGBT跟踪方法,其特征在于,包括:

对视频序列随机采样,获取训练帧图像对,并对训练帧图像对打标签,包括有缺失类型和无缺失类型;且有缺失类型的图像,设置有对应的缺失补偿填充集;

判断当前图像对中,两张图像是否有缺失,当其中一张图像有缺失时,根据缺失类型,从对应的缺失补偿填充集中,选择对应的补充帧图像,并与另一张无缺失的图像,组成图像对作为输入,若当前图像对中无缺时,则当前图像对直接应用作为输入;

设置图像模板搜索帧边界框;

根据图像模板搜索帧边界框对作为输入的图像对进行分割,再进行维度转换,获取图像语义信息;

建立缺失感知提示模态融合模型,包括模态原型缺失感知提示模块、上下文缺失感知提示模块和多模态Transformer模块;

图像语义信息作为模态原型缺失感知提示模块和上下文缺失感知提示模块的输入,并分别输出模态原型补偿语义信息和特定实例补偿语义信息;

多模态Transformer模块通过级联的方式将模态原型补偿语义信息、特定实例补偿语义信息以及图像模板搜索帧边界框的键和值分别拼接,并与图像搜索的查询做注意力计算;

使用优化算法对建立的缺失感知提示模态融合模型进行优化训练,并用优化后的缺失感知提示模态融合模型,获取当前帧图像对的目标包围框。

2.根据权利要求1所述的基于缺失感知提示的模态缺失RGBT跟踪方法,其特征在于,有缺失类型包括可见光缺失和红外缺失;当判断为可见光缺失时,选取当前时刻的前N帧可见光图像作为可见光的缺失补偿填充集;而没有缺失的红外帧图像,则选取当前帧的图像;在训练时,从可见光的缺失补偿填充集中随机选取一帧可见光图像与当前帧的红外图像作为图像对,输入至缺失感知提示模态融合模型中进行训练;同理,当判断为红外缺失时,处理方式与判断为可见光缺失时的处理方式相同。

3.根据权利要求1所述的基于缺失感知提示的模态缺失RGBT跟踪方法,其特征在于,图像模板搜索帧边界框将图像对分隔成多个图像块;图像块在输入至模态原型缺失感知提示模块之前,先从二维图像格式转换为一维语义信息;以及图像块在输入上下文缺失感知提示模块时,维持二维图像格式;其中,图像模板搜索帧边界框包括可见光模板帧区域

4.根据权利要求1所述的基于缺失感知提示的模态缺失RGBT跟踪方法,其特征在于,模态原型缺失感知提示模块采用多头注意力的形式,包括模态原型补偿可见光缺失提示网络、模态原型补偿红外缺失提示网络和模态原型适应无缺失提示网络;设置可学习的提示参数

5.根据权利要求4所述的基于缺失感知提示的模态缺失RGBT跟踪方法,其特征在于,模态原型缺失感知提示模块,通过以下公式表示:式中,

6.根据权利要求1所述的基于缺失感知提示的模态缺失RGBT跟踪方法,其特征在于,上下文缺失感知提示模块包括可选择上下文缺失感知卷积层和双层瓶颈结构层;以及可选择上下文缺失感知卷积层包括可见光缺失学习卷积分支、红外缺失学习卷积分支和模态完整学习卷积分支;

根据图像的缺失,选择对应的学习卷积分支,对分割后的图像对进行关键信息提取,双层瓶颈结构层对提取的关键信息对缺失模态进行恢复,输出特定实例补偿语义信息。

7.根据权利要求6所述的基于缺失感知提示的模态缺失RGBT跟踪方法,其特征在于,将上下文缺失感知提示模块用式中,

8.根据权利要求1所述的基于缺失感知提示的模态缺失RGBT跟踪方法,其特征在于,缺失感知提示模态融合模型,通过以下公式表示,当以可见光图像作为查询特征时,式中,

9.根据权利要求8所述的基于缺失感知提示的模态缺失RGBT跟踪方法,其特征在于,当以红外图像作为查询特征时,式中,

10.一种基于缺失感知提示的模态缺失RGBT跟踪系统,其特征在于,应用权利要求1-9任一所述的基于缺失感知提示的模态缺失RGBT跟踪方法,包括:数据集模块,用于对视频序列随机采样,获取训练帧图像对,并对训练帧图像对打标签,包括有缺失类型和无缺失类型;且有缺失类型的图像,设置有对应的缺失补偿填充集;

判断模块:用于判断当前图像对中,两张图像是否有缺失,当其中一张图像有缺失时,根据缺失类型,从对应的缺失补偿填充集中,选择对应的补充帧图像,并与另一张无缺失的图像,组成图像对作为输入,若当前图像对中无缺时,则当前图像对直接应用作为输入;

边界框模块,用于设置图像模板搜索帧边界框;

分割和维度模块,用于根据图像模板搜索帧边界框对作为输入的图像对进行分割,再进行维度转换,获取图像语义信息;

缺失补偿模块,用于建立缺失感知提示模态融合模型,包括模态原型缺失感知提示模块、上下文缺失感知提示模块和多模态Transformer模块;图像语义信息作为模态原型缺失感知提示模块和上下文缺失感知提示模块的输入,并分别输出模态原型补偿语义信息和特定实例补偿语义信息;多模态Transformer模块通过级联的方式将模态原型补偿语义信息、特定实例补偿语义信息以及图像模板搜索帧边界框的键和值分别拼接,并与图像搜索的查询做注意力计算;

优化训练预测模块,用于使用优化算法对建立的缺失感知提示模态融合模型进行优化训练,并用优化后的缺失感知提示模态融合模型,获取当前帧图像对的目标包围框。