1.一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法,其特征在于,包括以下步骤:
步骤一、将源域图像和目标域图像输入到对抗生成网络CycleGAN模型中进行训练,得到合成图;
步骤二、将合成图像作为训练集,目标域图像作为测试集;
步骤三、通过K‑means聚类算法对训练集标记框聚类,确定聚类数目并计算先验框尺寸;
步骤四、搭建改进的YOLOv3网络;特征来提取骨干网络;
步骤五、用YOLOv3网络训练CycleGAN模型生成的虚假图像;
步骤六、用训练得到的模型对测试集图像进行检测并计算平均检测精度;
步骤七、对跨域目标进行检测。
2.根据权利要求1所述的一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法,其特征在于,所述步骤一采用无监督生成对抗网络CycleGAN算法完成源域图像和目标域图像之间的自适应;具体为:
11)循环对抗生成网络CycleGAN;
输入到对抗生成网络CycleGAN模型的源域图像通过生成器得到其具有目标域风格的合成图并且不断训练;
通过判别器将生成器合成的合成图和原数据域中的真图区分开;
12)计算对抗生成网络CycleGAN损失函数;
所述对抗生成网络CycleGAN损失函数包括生成器损失函数和判别器损失函数;
所述生成器损失函数包括两个生成器的循环一致性损失、GAN损失和本身损失;
两个所述生成器的循环一致性损失通过公式(1)计算,具体如下:式中,GS‑T和GT‑S表示两个生成器;Lcyc表示循环一致性损失值;S_real表示源域中的真实图片集;T_real表示目标域中的真实图片集;Lcyc1表示第一个方向的循环一致性损失值;
Lcyc2表示第二个方向的循环一致性损失值;λ1表示用来平衡损失值的常系数;Es~S_real表示源数据域S_real中的图像s;Et~T_real表示目标数据域T_real中的图像t;s表示S_real中的一张图片;t表示T_real中的一张图片;
所述GAN损失通过公式(2)计算,具体如下:式中,LGAN表示总的GAN损失值;GS‑T和GT‑S表示两个生成器;DS和DT是两个判别器;S_real表示源域中的真实图片集;T_real表示目标域中的真实图片集;LGAN1表示第一个生成器的GAN损失值;LGAN2表示第二个生成器的GAN损失值;Es~S_real表示源数据域S_real中的图像s;s表示S_real中的一张图片;Et~T_real表示目标数据域T_real中的图像t;t表示T_real中的一张图片;
所述本身损失通过公式(3)计算,具体如下:式中,Lidt表示总的本身损失;GS‑T和GT‑S表示两个生成器;S_real表示源域中的真实图片集;T_real表示目标域中的真实图片集;Lidt1表示第一个生成器的本身损失值;Lidt2表示第二个生成器的本身损失值;λ、λ1、λ2表示用来平衡损失值的常系数;Es‑S_real表示源数据域S_real中的图像s;s表示S_real中的一张图片;Et~T_real表示目标数据域T_real中的图像t;
t表示T_real中的一张图片;
所述生成器损失函数通过公式(4)计算,具体如下:式中,LG表示两个生成器总的损失函数值;Lcyc表示总的循环一致性损失值;LGAN表示总的GAN损失值;Lidt表示总的本身损失值;GS‑T和GT‑S表示两个生成器;S_real表示源域中的真实图片集;T_real表示目标域中的真实图片集;DS和DT是两个判别器;
所述判别器损失函数通过公式(5)计算,具体如下:式中,LD表示两个判别器总的损失值; 表示判别器DT的损失值; 表示判别器DS的损失值;Et'~T_fake表示具有目标域特征的虚假图像集T_fake中的假图t’;Es'~S_fake表示具有源数据域特征的虚假图像集S_fake中的假图s’;t'表示T_fake中的一张图片;s'表示S_fake中的一张图片;DS和DT是两个判别器;Es~S_real表示源数据域S_real中的图像s;s表示S_real中的一张图片;Et~T_real表示目标数据域T_real中的图像t;t表示T_real中的一张图片;
综上,所述对抗生成网络CycleGAN损失函数通过公式(6)计算,具体如下:式中,Ltotal表示对抗生成网络CycleGAN总的损失函数值;LD表示两个判别器总的损失值;LG表示两个生成器总的损失函数值;Lcyc表示总的循环一致性损失值;LGAN表示总的GAN损失值;Lidt表示总的本身损失值;GS‑T和GT‑S表示两个生成器;S_real表示源域中的真实图片集;T_real表示目标域中的真实图片集;DS和DT是两个判别器; 表示判别器DT的损失值; 表示判别器DS的损失值。
3.根据权利要求1所述的一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法,其特征在于,所述步骤二的具体方法如下:通过步骤一中的对抗生成网络CycleGAN模型得到合成图作为训练集数据,制作图片文件夹、数据文件夹和图像标记文件夹。
4.根据权利要求3所述的一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法,其特征在于,所述图片文件夹中包含训练集、验证集、测试集中所有的.jpg图像;所述数据文件夹中包含三个.txt文件,分别记录着训练集所有图片名称、验证集所有图片名称和测试集所有图片名称;所述图像标记文件夹包含训练集、验证集、测试集中所有标记框的左上角坐标(xmin,ymin)、右下角坐标(xmax,ymax)以及目标物所属的类别(其中0,1,2,…分别表示每种不同类别的目标物)的.xml文件,即每一张图片对应有一个.xml文件。
5.根据权利要求4所述的一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法,其特征在于,所述步骤三的具体方法如下:所述.txt文件中包含训练集所有目标物标记框,按照框的宽ω、高h尺寸对所有标记框按照公式(9)—(14)进行K‑means聚类,进而得到训练集标记框尺寸的统计情况;
d=1‑imp_IOU(box,centroid) (9)式中,d表示距离值;centroid表示确定的聚类中心框;box表示任意其他框;box∩centroid表示两个框之间交集的面积大小,box∪centroid表示两个框之间并集的面积大小;imp_IOU表示改进后的IOU值;ρ值表示两个聚类框box、centroid中心点之间的距离;c表示上述找到的框C的左上右下点的长度;bbox表示任意其他框;bcentroid为确定的聚类中心框;
α表示一个系数;v值表示cIOU中要分别计算每个聚类框的宽高比,该值表示两个框宽高比例的差异;ωcentroid表示聚类中心框的宽度值,hcentroid表示聚类中心框的高度值;ωbox表示任意框的宽度值,hbox表示任意框的高度值。
6.根据权利要求1所述的一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法,其特征在于,所述步骤四的具体方法如下:YOLOv3算法中采用的特征提取网络为Darknet‑53,即有53个网络层,包含一个特征金字塔结构;网络层组成如下:
41)特征提取前端网络;
整个特征提取部分共包含5个卷积核数目不同的残差组,每个残差组都是由若干个数目不同的残差块组成,5个残差组中的残差块数目分别为1、2、8、8、4,每两个残差组中间有一个步长为2的卷积层将尺寸减半,使得输入到下一个残差组中的特征图尺寸是之前尺寸的一半,共包含5个步长为2的卷积层,因此最后输出的特征图尺寸是训练集图像尺寸的1/
32,即n/32×n/32;
42)改进特征金字塔;
421、对特征金字塔结构低层和深层特征图信息进行融合;
经过5个残差组提取特征后输出的特征图尺寸为n/32×n/32,再将其作为特征金字塔网络的输入,该结构共输出三种不同尺寸的特征图,从小到大依次是:残差组3、4、5输出特征图相融合后得到的特征图,尺寸最小为n/32×n/32;残差组2、3、4输出特征图相融合后得到的特征图,尺寸次小为n/16×n/16;残差组1、2、3输出特征图相融合后得到的特征图,尺寸最大为n/8×n/8;输出的通道数N通过公式(15)计算,具体如下:N=num×(score+location+label) (15)式中,num表示每个单元格中绘制的先验框的数目;score表示每个预测框的置信度概率值为1,每个框都有一个得分,取值为0‑1;location表示每个预测框的位置坐标,包含4个坐标值(tx,ty,tω,th)分别为预测出的每个预测框的坐标偏移量,据此能算出每个预测框中心点坐标和宽高值;label表示每个预测框输出的各个类别目标物的概率值,输出值的数目为待检测的目标物类别数;
422、增加注意力模块;
所述注意力模块包含通道注意力和空间注意力两个子模块,其分别关注通道和空间两个维度的不同特征。
其中,所述通道注意力模块:对于输入的n×n×m维特征图,首先经过一个全局平均层提取出每一维通道上的特征,该层输出一个1×1×m维向量;之后,经过两个全连接层依次提取出各个通道间的关联特征,输出通道数分别是m/4维和m维;第一个全连接层后是relu激活函数,第二个全连接层后是sigmoid激活函数,用来将输出值固定在0‑1范围内;最后,将输入到通道注意力模块中的特征图和sigmoid层输出的特征图相乘,最终输出的特征图尺寸也是n×n×m;
所述空间注意力模块:对于输入的n×n×m维特征图首先经过两个并联的卷积层分支提取特征,每个分支的卷积核大小分别为1×9和9×1,再将两个分支输出的特征图对应位置像素值相加后,用sigmoid函数将输出值固定在0‑1范围内,此时得到的特征图尺寸为n×n×1;最后,将该模块输入的特征图和这个1维的特征向量相乘,得到最终输出的n×n×m维特征图。
7.根据权利要求6所述的一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法,其特征在于,所述步骤五的具体方法如下:搭建好特征提取骨干网络后,对于输入的训练集图片,将数据、标签、类别数、先验框尺寸信息加载到网络中,并加载在coco2014数据集上训练得到的权重文件作为YOLOv3模型的预训练权重,即各网络层初始权重参数;训练过程中前向传播计算YOLOv3损失函数:位置损失、置信度损失、类别损失。
8.根据权利要求6所述的一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法,其特征在于,所述步骤六的具体方法如下:将测试集图片裁剪并输入到训练好的模型中,测试过程中对于骨干网络输出的所有预测框,采用Soft‑NMS算法对冗余框进行筛选,具体方法为:
61)对于网络输出的所有预测框B={b1,b2,...,bn},b1表示第1个预测框;b2表示第2个预测框;bn表示第n个预测框;其对应的置信度分数S={s1,s2,...,sn},s1表示第1个预测框预测得到的置信度分数;s2表示第2个预测框预测得到的置信度分数;sn表示第n个预测框预测得到的置信度分数;设定交并比阈值t、分数阈值σ和置信度阈值α;
62)找到上述预测框中,同一个类别中分数最高的框记为bm,其分数为sm;对于除分数最高框bm外的每个框bi,分数si,计算框bi和bm之间的IOU值IOU(bi,bm);若IOU(bi,bm)≥t,则否则,si值不变;其中,si表示预测框bi的置信度分数;bi表示任意一个预测框;bm表示分数最高的预测框;σ表示分数阈值;
63)对于下一个类别的预测框,重复上述步骤62),直到遍历完所有类别目标物的所有预测框,此时得到所有预测框对应的新的置信度分数S′={s1′,s2′,...,sn′};
64)根据设定的置信度阈值α对新的置信度分数进行筛选,对于任意一个预测框的分数sj′,若sj′<α,则该框bj被抑制不会输出。
9.根据权利要求6所述的一种基于改进YOLOv3的自动驾驶汽车跨域目标检测方法,其特征在于,所述步骤七的具体方法如下:对于两个不同分布的数据域,对其中较易采集的数据域作为源域并标记,通过CycleGAN模型将源域数据生成具有目标域风格的虚假图片,用这些虚假图片训练上述改进后的YOLOv3模型,并用训练得到的模型对目标域图片中的目标物进行检测。