1.一种基于注意力和对比学习的小样本目标检测方法,其特征在于:基于小样本马赛克数据增强模块、坐标补偿注意力区域提议网络、新旧类判别模块和对比学习模块,各模块具体构成如下:
小样本马赛克数据增强模块,包括样本选择策略、马赛克数据增强方法;
坐标补偿注意力区域提议网络,包括区域提议网络、回归坐标补偿注意力分支、坐标补偿损失;
新旧类判别模块,包括特征提取层、类别判别层;
对比学习模块,包括特征映射层、对比损失和联合训练策略;
方法的具体步骤如下:
(1)小样本马赛克数据增强模块从基类和新类训练样本随机选取样本后生成训练样本;
(2)FasterR-CNN按照步骤(1)所产生的训练样本经过主干网络ResNet 101进行特征提取,后接特征金字塔网络产生主干输出特征:P2、P3、P4、P5、P6;
(3)坐标补偿注意力区域提议网络以步骤(2)所产生的主干输出特征为输入,送入3x3卷积特征提取特征,接1x1卷积网络分别产出回归坐标预测和前景背景分类预测,同时也送入回归坐标补偿注意力分支生成回归坐标补偿,最终的坐标预测由前述的回归坐标预测与回归坐标补偿生成,再经过锚框生成器和后处理得到建议区域;
(4)ROIPooling层根据步骤(3)生成的建议区域对步骤(2)生成的P2、P3、P4、P5、P6特征进行ROIPooling操作生成特征R;
(5)步骤(4)所生成的特征R同时送入ROI特征提取模块ROIHead和新旧类判别模块Discriminator;
(6)新旧类判别模块将特征R送入两层全连接层后生成关于新类与基类的二分类预测分数;
(7)ROI特征提取模块有两层全连接层将特征R提取为1024维的特征F,同时送入框坐标回归头Regression、分类头Classification和对比学习头Contrastivelearning,其中回归头Regression和分类头Classification结果通过后处理生成最终检测结果。
2.根据权利要求1所述的基于注意力和对比学习的小样本目标检测方法,其特征在于:小样本马赛克数据增强模块具体运行步骤包括:(2.1)按比例分别从基类样本集和新类样本集中抽取样本;
(2.2)每4张样本按新类与基类1:3的比例,分别采用不同的数据增强方法处理后以某一随机的尺寸裁剪后拼接为一张样本,目的是为了让稀有的新类样本充分地与基类样本混合在一起,一方面从图片级作数据增强,另一方面为后续实例级对比学习作铺垫;
(2.3)反复重复步骤(2.2)生成批次大小的训练样本。
3.根据权利要求1所述的基于注意力和对比学习的小样本目标检测方法,其特征在于:坐标补偿注意力区域提议网络具体运行步骤包括:(3.1)将FPN的输出特征输入一层3x3卷积网络生成特征A;
(3.2)将步骤(3.1)生成的特征A分别通过两层1x1卷积为每个像素点生成前景背景预测分数与回归坐标预测,,0代表前景得分,1代表背景得分,分别代表中心和宽高的值;
(3.3)步骤(3.1)生成的特征A也送入了回归坐标补偿注意力分支生成补偿坐标,其运算公式为:;
其中为可学习的注意力矩阵,为1x1卷积操作;
(3.4)由步骤(3.2)与步骤(3.3)生成的与共同生成最终回归坐标预测,其运算公式为:;
(3.5)坐标补偿注意力区域提议网络的损失函数为:;
其中为RPN网络总损失,、和分别为RPN网络分类任务损失、回归任务损失和注意力分支损失:;
;
其中为回归坐标标签值,smooth()为smooth类型的损失函数。
4.根据权利要求1所述的基于注意力和对比学习的小样本目标检测方法,其特征在于:新旧类判别模块具体运行步骤包括:(4.1)新旧类判别模块以R为输入,R为维度为7x7xN的张量,先经过展开层生成49xN的二维向量;
(4.2)步骤(4.1)的结果通过两层全连接层生成新旧类预测,为1xN维向量,其运算公式为:;
其中,为两层全连接层,为展平操作。
5.根据权利要求3所述的基于注意力和对比学习的小样本目标检测方法,其特征在于:对比学习模块具体运行步骤包括:(5.1)由ROI的特征提取结果向量F经过两层MLP网络映射成为128维的实例向量;
(5.2)由步骤(5.1)生成的实例向量来计算对比损失,其对比损失的运算公式为:;
;
其中,N为的总数,为实例标签为的总数,是步骤(3.2)的第i行的数值,为温度系数,是一个超参,是实例向量的正则化,为索引为j的实例特征的正则化,其中的运算公式如下:;
其中,为对应的所对应的锚框的IOU值,IOU值为锚框与标注框的交并比;
(5.3)由步骤(5.2)所计算的对比损失联合上回归头与分类头的损失、坐标补偿注意力区域提议网络的损失构成总损失:;
其中,和分别为FasterR-CNN输出头的分类损失与回归损失,为步骤(3.5)所述RPN网络总损失,是新旧类判别器的损失函数,为训练的次数。