欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022105162632
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于可见光图像与红外图像融合的行人检测方法,其特征在于,包括:同步获取包含有行人的红外图像与可见光图像;

对获取的所述红外图像与所述可见光图像进行标定、配准;

配准的红外图像与对应的可见光图像组成数据对,各数据对构成公共标签文件;

对所述公共标签文件中的红外图像和可见光图像分别进行特征提取,获得各自的特征图,并获取其中所述红外图像的ROI信息;

将所述红外图像的ROI信息映射到对应的可见光图像的特征图上,得到融合后的特征图;

对于所述融合后的特征图,采用softmax方法分类,并用目标框回归方法调整位置,最终提取出目标类别和识别框,从而实现行人检测。

2.根据权利要求1所述的基于可见光图像与红外图像融合的行人检测方法,其特征在于,对所述红外图像与所述可见光图像进行标定、配准,具体包括以下步骤:分别定义红外相机和光学相机在世界坐标系下的坐标,在对应坐标系下对标定板上不同位姿和距离的角点拍摄红外图像和可见光图像;

根据红外相机或光学相机的尺寸因子、角点在像素坐标系和世界坐标系的坐标,得到红外相机或光学相机的单应性矩阵,再根据多组角点坐标和约束性条件,得到红外相机或光学相机的内参矩阵和外参矩阵;所述红外相机或光学相机的外参矩阵包括角点相对于红外相机或光学相机主点的旋转矩阵和平移矩阵;

根据角点相对于红外相机和光学相机的外参矩阵,得到红外相机相对于光学相机的旋转矩阵和平移矩阵,确定红外相机和光学相机之间的坐标系转变关系,完成标定;

对于获取的所述包含有行人的红外图像与可见光图像,根据确定的所述红外相机和光学相机之间的坐标系转变关系,进行配准。

3.根据权利要求2所述的基于可见光图像与红外图像融合的行人检测方法,其特征在于,在确定红外相机和光学相机之间的坐标系转变关系的过程中,还包括:输入红外相机和光学相机的畸变矩阵。

4.根据权利要求1所述的基于可见光图像与红外图像融合的行人检测方法,其特征在于,所述各数据对构成公共标签文件的过程,包括以下步骤:对配准后的红外图像与对应的可见光图像分别进行标注,形成各自的标注项;由所述红外图像与所述可见光图像的标注项,分别构成所述红外图像与所述可见光图像的标签文件;

遍历所述红外图像与所述可见光图像的标注项,计算两个标签文件中各个标注项之间的交并比;对于一个标签文件中的标注项,在另外一个标签文件中仅有一个对应标注项与之的交并比大于设定阈值时,将该标注项与对应标注项存入共用标签文件中;

当所述标注项未检索到与之交并比大于设定阈值的对应标注项时,则舍弃该所述标注项;当所述标注项检索到多项与之交并比大于设定阈值的对应标注项时,对所述设定阈值进行更新,再次进入标注过程,直到标签文件所有标注项完成标注过程,结束循环。

5.根据权利要求1所述的基于可见光图像与红外图像融合的行人检测方法,其特征在于,对于所述公共标签文件中的红外图像,经过改进的Darknet主干网络进行多次特征提取,得到红外图像的特征图;其中,每次所述特征提取均由上一层特征图为输入,经过卷积层、残差网络、稠密块处理,分别进行特征提取、跳跃连接、特征重用,得到下一层特征图,最后一层特征提取模块获得的特征图作为红外图像的特征图。

6.根据权利要求5所述的基于可见光图像与红外图像融合的行人检测方法,其特征在于,获取所述红外图像的ROI信息的过程,包括以下步骤:在所述红外图像的特征图中生成先验框,并设计三个所述先验框与所述红外图像的特征图的面积比,以及三个所述先验框与所述红外图像的特征图的高宽比;对于所述红外图像的特征图的每个特征点生成9个先验框;

以所述红外图像的特征图为输入,通过一个卷积层处理,融合不同通道之间的特征,得到红外图像的融合特征图;

将所述红外图像的融合特征图分别进行1×1×36和1×1×18卷积;

将经1×1×36卷积输出的特征图进行目标框回归,获得初步的目标框信息;

将经1×1×18卷积输出的特征图利用softmax函数区分前景图像和背景图像,获得特征图中每个先验框的二分类结果,识别为前景的先验框作为候选,识别为背景的先验框视为负样本丢弃;

利用Proposal层综合前景图像和初步的目标框信息生成包含ROI信息的特征图,即获取红外图像的ROI信息。

7.根据权利要求1所述的基于可见光图像与红外图像融合的行人检测方法,其特征在于,对于所述公共标签文件中的可见光图像,其特征提取过程,包括以下步骤:通过随机缩放、裁剪以及排布进行数据增强,得到数据增强的可见光图像特征图;

对所述数据增强的可见光图像特征图进行切片,获得可见光图像的小块特征图;

以所述可见光图像的小块特征图为输入,依次输入至CBL模块、CSP1_1模块中,进行特征提取,得到可见光图像的第一特征图;

以所述可见光图像的第一特征图为输入,通过三个并行的空洞卷积模块,得到三个并行的特征图,合并三个并行的特征图,得到可见光图像的第二特征图;

将所述可见光图像的第二特征图压缩处理,再依次输入至CBL模块、CSP1_3模块、CBL模块、CSP2_3模块和SPP模块,进一步提取特征,得到所述可见光图像的特征图。

8.一种基于可见光图像与红外图像融合的行人检测模型,其特征在于,包括:获取单元,用于获取包含有行人的红外图像与可见光图像,所述红外图像与可见光图像用于进行标定、配准、特征提取以及特征融合;

提取单元,用于提取所述红外图像和可见光图像的特征并进行特征融合;

检测单元,用于对融合的特征图进行分类、调整,实现行人检测。

9.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器,通信接口,存储器通过通信总线完成相互间的通信;

存储器,用于存放计算机程序;

处理器,用于执行存储器上所存放的程序时,实现权利要求1~7任一所述的方法步骤。

10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质内存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1~7中任一所述的方法步骤。