欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023100750350
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向弱配准数据的可见光热红外视觉跟踪方法,其特征在于,采用的网络模型包括:特征提取网络、渐进式特征融配准模块、transformer融合模块以及模型预测器;所述的特征提取网络用于提取可见光和热红外的多模态特征;所述的渐进式特征融配准模块,利用弱配准图像对预测单应性矩阵,用以扭曲热红外模态特征以实现热红外模态特征向可见光模态特征的配准;所述的transformer融合模块,由多头注意力机制组成,用于融合配准后的多模态特征;所述的模型预测器,由模型预测模块和调制向量模块组成,用于利用融合的多模态特征进行最后的跟踪结果预测;

所述的跟踪方法包括以下步骤:

步骤一:在初始帧或上一帧结果目标周围生成搜索区域,并提取搜索区域的多模态特征;

步骤二:将特征提取网络提取的多模态特征利用渐进式特征配准模块进行特征粗配准,同时预测单应性矩阵,进而实现热红外特征向可见光特征的细配准,同时更新单应性矩阵;

步骤三:将细配准后的可见光热红外模态特征通过transformer特征融合模块进行多模态特征融合;

步骤四:利用融合特征输入到模型预测器取得当前帧的最优的预测模型,与全图特征进行卷积操作以获得得分权重图,响应值高的位置则代表目标的预测位置,同时通过调制向量模块进行包围框的选取,完成对当前帧目标的准确定位;

步骤五:跟踪下一帧。

2.根据权利要求1所述的一种面向弱配准数据的可见光热红外视觉跟踪方法,其特征在于,步骤二中所述的利用渐进式特征配准模块进行特征粗配准,同时预测单应性矩阵,进而实现热红外特征向可见光特征的细配准的方法如下:首先根据主单应性矩阵HM利用空间转换网络STN实现热红外模态特征向可见光模态特征的粗配准,将可见光特征与粗配准的热红外特征在通道维度上拼接送给单应性估计模块估计次单应性矩阵HR,所述的单应性估计模块由残差模块、全局平均池化、全连接层以及直接线性变换依次连接组成;再使用空间转换网络STN实现热红外模态的细配准,并对预测的次单应性矩阵HR进行监督,损失函数如下:其中,LM为单应性损失函数,HT代表监督信号量矩阵,n代表单应性矩阵的维度, 为次单应性矩阵的第i行、第j列的元素, 为监督信号量矩阵的第i行、第j列的元素。

3.根据权利要求2所述的一种面向弱配准数据的可见光热红外视觉跟踪方法,其特征在于,步骤二中所述的更新单应性矩阵的方法如下:根据预测的次单应性矩阵HR更新主单应性矩阵HM的值,其公式如下:其中, 为更新后的主单应性矩阵。

4.根据权利要求3所述的一种面向弱配准数据的可见光热红外视觉跟踪方法,其特征在于,步骤三中所述的将细配准后的可见光热红外模态特征通过transformer特征融合模块进行多模态特征融合的方法具体如下:将配准后的可见光模态特征FRGB和热红外模态FT作为transformer融合模块的输入,以FRGB结合位置编码作为Query集,以FRGB连接FT结合位置编码作为Key集,以FRGB连接FT作为Value,进行多头自注意力操作,并通过残差相加,再经过前馈神经网络以及归一化操作获得热红外可见光融合模态特征。

5.根据权利要求4所述的一种面向弱配准数据的可见光热红外视觉跟踪方法,其特征在于,步骤四中所述的最优的预测模型的计算方法如下:将训练集的特征Strain特征输入到初始化的模型预测模块中得到预测模型f,利用预测模型f在测试集的特征Stest上进行损失计算,公式如下:其中,s代表测试集的样本Mtest的预测得分值,z代表样本标签值,T代表前景和背景,l(s,z)为损失计算函数;

对每次迭代的损失都做约束,利用Hing‑like损失函数进行优化,公式如下:

其中,Lcls为目标位置的分类损失,Niter代表迭代次数,zc代表样本标签值作为目标c的i高斯函数,x为输入的搜索区域特征,f为第i次迭代取得的预测模型。

6.根据权利要求5所述的一种面向弱配准数据的可见光热红外视觉跟踪方法,其特征在于,步骤四中所述的通过调制向量模块进行包围框的选取的方法如下:利用调制向量模块预测的包围框与真值包围框的均方误差大小进行模型训练,公式如下:其中,Lbb为目标边界框回归损失,IOUP为预测包围框与真值的交并比,IOUT为真实包围框与真值的交并比;

最终的优化损失函数Ltot为单应性损失、目标位置的分类损失和目标边界框回归损失的加权和,公式如下:Ltot=αLM+βLcls+Lbb

其中,α和β均为超参数。