欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022103918147
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种联合可见光图像和红外图像的目标检测方法,其特征在于:Step1:将可见光图像和红外图像分别输入到特征提取模块中,提取可见光图像和红外图像的全局特征;

Step2:将可见光图像输入到光照感知模块中,提取光照信息;

Step3:将Step1所得的全局特征输入到互信息模块中,清除可见光图像和红外图像中的冗余信息;

Step4:将Step1所得的特征输入到特征融合模块中,以融合可见光图像和红外图像特征的互补信息,得到融合后的特征图;

Step5:将Step2得到的光照信息和Step4得到的特征图输入到检测器进行目标检测。

2.根据权利要求1所述的联合可见光图像和红外图像的目标检测方法,其特征在于:Step1中所述特征提取模块为基于SSD算法的主干网络,将SSD算法的主干网络复制为两个分支,一个分支提取可见光图像特征,另一个分支提取红外图像特征,具体为:Fv=SSD(vi_images)      (1)Fi=SSD(if_images)         (2)式中,SSD表示SSD算法的主干网络,vi_images和if_images分别表示可见光图像和红外图像,Fv和Fi分别表示提取到的可见光图像和红外图像特征。

3.根据权利要求1所述的联合可见光图像和红外图像的目标检测方法,其特征在于:Step2中所述光照信息是指通过光照感知模块提取到的两个权重,具体为:Ws,Wl=l_m(vi_images)        (3)式中,l_m表示光照感知模块,Ws和Wl分别表示提取到的两个权重。

4.根据权利要求1所述的联合可见光图像和红外图像的目标检测方法,其特征在于:Step3中所述互信息模块为设计两个卷积层和全连接层,将可见光图像和红外图像特征映射为两个低维度特征向量,然后基于两个低维度特征向量,创建两个信息分布,最后计算两个信息分布的互信息,具体公式如下:M(Zv,Zi)=H(Zv)+H(Zi)‑H(Zv,Zi)      (4)式中,Zv和Zi表示可见光图像和红外图像特征的低维度特征向量,M(Zv,Zi)表示低维度特征向量互信息,H(Zv)和H(Zi)分别表示Zv和Zi的信息熵,H(Zv,Zi)表示Zv和Zi的联合熵。

5.根据权利要求1所述的联合可见光图像和红外图像的目标检测方法,其特征在于:Step4中所述特征融合模块加入通道注意力机制,具体为:式中,CAM表示通道注意力机制, 代表元素相乘操作,Fv和Fi表示融合前的可见光图像和红外图像特征,Fv'和Fi'表示融合后的可见光图像和红外图像特征;

所述通道注意力机制的计算公式如下:

式中,H,W表示特征图的尺寸,σ表示双曲正切激活函数。

6.根据权利要求1所述的联合可见光图像和红外图像的目标检测方法,其特征在于,所述Step5具体为:cls,conf,box=d_m(Ws,Wl,Fi',Fv')      (9)式中,d_m表示检测器,cls,conf,box分别表示预测图像中目标的类别,置信度以及包围框的坐标。

7.根据权利要求1或3所述的联合可见光图像和红外图像的目标检测方法,其特征在于:所述可见光图像输入到光照感知模块是指将可见光图像尺寸修剪为56*56,再输入到光照感知模块中提取光照信息。

8.根据权利要求1或6所述的联合可见光图像和红外图像的目标检测方法,其特征在于:所述目标检测是指根据特定任务需求,对图像中所具有的目标进行检测,其预测的结果为目标在输入图像中所对应的包围框,输出结果包括分类和回归。