欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023107543915
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种在可见光‑红外图像弱对齐下的目标检测方法,其特征在于:Step1:将可见光和红外图像输入到特征提取网络中,提取可见光和红外图像的全局特征;

Step2:将可见光图像输入到光照感知模块中,提取光照信息;

Step3:将Step1得到的可见光和红外图像特征输入到多尺度空间对齐模块中进行特征对齐,得到在同一潜在物理空间下对齐的可见光和红外图像特征;

Step4:将Step3得到的可见光和红外图像特征输入到特征融合模块中,以融合可见光和红外图像特征的目标互补信息,得到融合后的特征图;

Step5:将Step2得到的光照信息和Step4得到的特征图输入到检测器进行目标检测。

2.根据权利要求1所述的在可见光‑红外图像弱对齐下的目标检测方法,其特征在于:Step1中所述特征提取网络为基于SSD算法的主干网络,将SSD算法的主干网络复制为两个分支,一个分支提取可见光图像特征,另一个分支提取红外图像特征,具体为:Fr=SSD(rgb_images)                           (1)Ft=SSD(thermal_images)                          (2)式中,SSD表示SSD算法的主干网络,rgb_images和ithermal_images分别表示可见光和红外图像,Fr和Ft分别表示提取到的可见光和红外图像特征。

3.根据权利要求1所述的在可见光‑红外图像弱对齐下的目标检测方法,其特征在于:Step2中所述光照信息是指通过光照感知模块提取到的两个权重,其中光照感知模块由卷积层和全连接层组成,具体为:Ws,Wl=l_m(rgb_images)                        (3)式中,l_m表示光照感知模块,Ws和Wl分别表示提取到的两个权重。

4.根据权利要求1所述的在可见光‑红外图像弱对齐下的目标检测方法,其特征在于:Step3中所述多尺度空间对齐模块由图模型构建、图注意力网络、图数据转换和空间变换操作组成,通过将特征图划分为特征块方式构建相应图模型,然后使用图注意力网络更新图模型信息,最后将图数据转换为矩阵形式,使用空间变换操作对红外图像特征进行矫正处理;其中,图模型构建具体方式如下式:式中,w'、h'和c分别表示特征块fri和fti的宽度、高度、通道数,FR_r和FR_t代表特征块集合;

然后,将得到的特征块转换为图模型节点特征形式,如下式:式中,flatten(·)代表将特征块展平为向量操作,和 分别代表由特征块fri和fti展平得到的向量,Vr和Vt分别表示相应图模型中所有图节点的集合,1×h'w'c表示图节点的特征数量,Er和Et分别表示相应图模型中图节点间边的集合,Gr=(Vr,Er)和Gt(Vt,Et)分别代表由特征图Fr和Ft构造的图模型;

所述的更新图模型信息如下式:

G′r(Vr',E′r)=GAT(Gr=(Vr,Er))                     (8)Gt'(Vt',E′t)=GAT(Gr=(Vr,Er))                     (9)式中,GAT(·)代表图注意力网络,G′r(Vr',E′r)和G′t(Vt',E′t)分别代表经图注意力网络更新后得到的可见光和红外图像特征图模型;

所述的将图数据转换成矩阵形式为先将图模型所有节点特征合并为向量,然后将向量转为矩阵形式,如下式:Mr=Trans_Add(Vr')                    (10)Mt=Trans_Add(Vt')                    (11)式中,Trans_Add(·)代表将图模型所有节点特征合并操作及转换为矩阵操作,Mr和Mt分别代表最终建模得到的可见光和红外图像的偏差矩阵;

所述的空间变化操作如下式:

式中,Ft'代表经空间变换操作矫正得到的红外图像特征。

5.根据权利要求1所述的在可见光‑红外图像弱对齐下的目标检测方法,其特征在于:Step4中所述特征融合模块加入通道注意力机制,具体为:式中,CAM(·)表示通道注意力机制,代表逐元素相加操作, 代表对特征图进行全局相乘操作,F′r_cam和F′t_cam分别表示融合后的可见光和红外图像特征;

所述通道注意力机制的计算公式如下:

式中,H和W分别表示特征图的高和宽,σ表示双曲正切激活函数。

6.根据权利要求1所述的在可见光‑红外图像弱对齐下的目标检测方法,其特征在于:所述Step5具体为:

cls,conf,box=d_m(Ws,Wl,F′r_cam,F′t_cam)     (17)式中,d_m(·)表示检测器,cls,conf,box分别表示预测图像中目标的类别,置信度以及包围框的坐标。

7.根据权利要求1或3所述的可见光‑红外图像弱对齐下的目标检测方法,其特征在于:所述可见光图像输入到光照感知模块是指将可见光图像尺寸修剪为56*56,再输入到光照感知模块中提取光照信息。

8.根据权利要求1所述的可见光‑红外图像弱对齐下的目标检测方法,其特征在于:所述目标检测是指根据特定任务需求,对图像中所具有的目标进行检测,其预测的结果为目标在输入图像中所对应的包围框,输出结果包括分类和回归。