1.基于图像融合的红外行人目标检测方法,其特征在于,包括以下步骤:步骤1:建立红外行人目标检测数据集,具体的:步骤1.1:使用可见光摄像机和红外摄像机随机、同时对包含行人目标的场景进行拍摄,采集数量相同的可见光图像和红外图像;
步骤1.2:对步骤1.1采集到的可见光图像和红外图像进行预处理;
步骤1.3:对步骤1.2预处理后的可见光图像和红外图像按采集顺序排列,同时采集的可见光图像和红外图像相互对应,命名一致,组成可见光图像和红外图像对;
步骤1.4:通过LabelImg软件对步骤1.3中可见光图像和红外图像对中的行人进行边界框标注分类,制作并导出标签;
步骤1.5:随机选取步骤1.4中可见光图像和红外图像对的70%作为训练集,剩余的可见光图像和红外图像对的30%作为测试集;
步骤2:使用Densefuse网络进行可见光图像和红外图像的融合,具体的:步骤2.1:将步骤1.5中所述的训练集送入Densefuse网络;
步骤2.2:设置训练参数,具体的,训练批次的大小设置为Batch=4,学习率初始设定为Ir=0.0001,训练迭代次数Epoch=150;
步骤2.3:使用Densefuse网络中的编码器来提取输入图像的特征;
步骤2.4:根据步骤2.3提取到输入图像的特征,使用Densefuse网络中的解码器来重构输入图像,从而得到固定权重的Densefuse网络;
步骤2.5:将步骤1.5中所述的测试集送入到步骤2.4所述的固定权重的Densefuse网络进行测试,得到测试结果;
步骤2.6:评估Densefuse网络,根据步骤2.5所述的测试结果对步骤2.4所述的固定权重的Densefuse网络进行评估,得到评估结果;
步骤2.7:判断步骤2.6评估结果中的损失变化是否趋于稳定,若损失变化趋于稳定,则执行步骤2.9,否则,执行步骤2.8;
步骤2.8:调整Densefuse网络的训练参数中的学习率和迭代次数,并跳转至步骤2.3重新训练;
步骤2.9:将步骤1.5中的训练集和测试集均送入到步骤2.4所述的固定权重的Densefuse网络,通过编码器提取可见光图像和红外图像对的特征,采用式(1)所示的相加融合策略来融合编码器提取到的可见光图像和红外图像对的特征;将融合后的特征送入到解码器中重构,得到融合后的图像;
m m m
F(x,y)=λVis(x,y)+(1‑λ)Ir(x,y); (1)m m
其中,Vis (x,y)表示编码器提取到的第m通道可见光图像的特征,Ir(x,y)表示编码器m
提取到的第m通道红外图像的特征,F (x,y)表示第m通道可见光图像和红外图像对融合的特征,λ是加权系数,x和y分别表示输入的图像上像素点的横坐标和纵坐标;
步骤3:训练基于图像融合的YOLOv5红外行人目标检测模型,具体的:步骤3.1:构建基于图像融合的YOLOv5红外行人目标检测模型的训练集和测试集,随机选取步骤2.9融合后的图像的70%,并以步骤1.4相对应的标签为标签作为基于图像融合的YOLOv5红外行人目标检测模型的训练集,步骤2.9融合后的图像的剩余的30%,并以步骤
1.4相对应的标签为标签作为基于图像融合的YOLOv5红外行人目标检测模型的测试集;
步骤3.2:设置训练参数,利用随机优化算法Adam进行训练,训练批次的大小设置为Batch=64,动量Momentum=0.9,学习率初始设定为Ir=0.001,训练迭代次数Epoch=300;
步骤3.3:将步骤3.1中所述的基于图像融合的YOLOv5红外行人目标检测模型的训练集送入到基于图像融合的YOLOv5红外行人目标检测模型进行训练,并得到训练结果的平均精度变化和损失变化趋势;
步骤3.4:根据步骤3.3所述的训练结果的平均精度变化和损失变化趋势,调整学习率和迭代次数,直至平均精度变化和损失变化趋势趋于稳定的状态,得到最终收敛良好的基于图像融合的YOLOv5红外行人目标检测模型;
步骤3.5:将步骤3.1所述的基于图像融合的YOLOv5红外行人目标检测模型的测试集送入到步骤3.4所述的收敛良好的基于图像融合的YOLOv5红外行人目标检测模型中进行检测。
2.根据权利要求1所述的基于图像融合的红外行人目标检测方法,其特征在于:步骤
1.1中所述的可见光摄像机和红外摄像机安装在相同采集位置,镜头光轴同方向且平行。
3.根据权利要求2所述的基于图像融合的红外行人目标检测方法,其特征在于:步骤
1.2中所述的预处理过程为:对步骤1.1采集到的可见光图像和红外图像进行特征配准、高斯滤波。
4.根据权利要求3所述的基于图像融合的红外行人目标检测方法,其特征在于:步骤
2.6中所述的损失变化由损失函数得到,所述的损失函数H(x,y)是由结构相似性损失函数HSSIM(x,y)和像素损失函数HP(x,y)加权得到,计算如下:H(x,y)=γHSSIM(x,y)+HP(x,y) =γ(1‑SSIM(Out(x,y),In(x,y)))+||Out(x,y)‑In(x,y)||2其中,Out(x,y)和In(x,y)分别表示输出图像和输入图像,||Out(x,y)‑In(x,y)||2是输出图像Out(x,y)和输入图像In(x,y)之间的欧几里得距离,SSIM(out(x,y),In(x,y))是输出图像Out(x,y)和输入图像In(x,y)之间的结构相似性,γ为加权系数,考虑到像素损失和结构相似性损失之间存在三个数量级的差异,这里取γ=100,x和y分别表示图像上像素点的横坐标和纵坐标。
5.根据权利要求4所述的基于图像融合的红外行人目标检测方法,其特征在于:步骤
2.8中,所述的调整Densefuse网络的训练参数中的学习率和迭代次数的方法为:若损失变化处于降低但未趋于稳定的状态,调大训练迭代次数Epoch;若损失变化处于震荡的状态,调小学习率Ir。