1.一种图像金字塔引导的遥感影像小目标检测方法,包含以下步骤:步骤1:构建骨干网络;
构建Mask R-CNN骨干网络,采用标准ResNet网络来实现;ResNet网络包括五个级别的特征提取模块,但为了在获得深层语义信息的同时最大化保留浅层小目标的信息,取消了ResNet最后一个级别,仅采用四个级别;第一个级别利用了一次步幅为2的卷积层,得到的特征映射图为原始图像分辨率的1/2;第二级别利用了步幅为2的最大池化层,得到为原始图像1/4大小的特征映射图;第三至第四级别都采用步幅为2的卷积层来提取特征,最终输出的特征映射图为原始图像的1/16;ResNet骨干网络提取到的特征图表示为R:R={R
其中,n表示网络的级别数;
步骤2:构建图像金字塔引导网络;
该步骤构建图像金字塔引导网络,提取图像金字塔特征信息,具体包括以下两个子步骤:步骤2.1:构建图像金字塔;
输入图像,构建其金字塔集I:
I={I
其中,n代表图像金字塔的级别数,与步骤1中ResNet骨干网络的级别数对应一致;图像金字塔集中I步骤2.2:构建特征提取模块;
图像金字塔引导网络的特征提取功能模块是为了捕获小目标等细节信息,主要从浅层网络获得;主要由以下两部分构成:(1)首先是3个3*3的卷积级联操作,在获得与7*7卷积操作相同感受野的同时,减少参数量,增强网络的非线性表达能力,防止出现过拟合;从而使得浅层卷积滤波器的细粒度特征提取能力增加;然后进行步幅为2的最大池化操作;
(2)池化操作后,每个级别提取的图像金字塔特征都需再通过残差块的操作来实现;在提取图像金字塔特征时,随着骨干网络层级的增加,每级增加1个残差块,即第一阶段1个,第二阶段2个残差块,第三阶段3个残差块;
图像金字塔引导网络提取到的图像金字塔特征映射图F:F={F
其中,n代表图像金字塔的级别数,与骨干网络级别数保持一致;
步骤3:融合骨干与图像金字塔特征;
在步骤1、2的基础上得到骨干特征映射图R与图像金字塔特征映射图F,将图像金字塔特征信息作为附加信息,融合到骨干特征信息中去;该融合包含以下三个子步骤:步骤3.1:金字塔特征映射图上采样;
将图像金字塔特征映射图F
步骤3.2:骨干网络融合;
将步骤3.1得到的F
其中,Conv
步骤3.3:融合特征映射图生成;
将步骤3.2得到的O’
O
其中,O
O={O
步骤4:多层次特征融合;
在步骤3得到骨干特征与图像金字塔特征融合后的多尺度特征O后,利用特征金字塔网络的侧边横向连接方式,构建一条自上而下的融合路径,将深层语义信息融合到浅层丰富的空间信息中去;但最终生成特征映射图只包含本层和更深层的特征信息,却不包含更浅层的信息,无法充分利用所有尺寸特征映射图的信息;因此,在原有自深层至浅层的连接基础上,增加一条自浅层至深层的特征融合网络结构;具体包含以下两个子步骤:步骤4.1:自深层至浅层的特征融合;
在步骤3得到骨干与图像金字塔特征融合后的多尺度特征O后,添加新的特征映射图P重复上述步骤,生成多尺度特征映射图P:P={P
步骤4.2:自浅层至深层的特征融合;
生成自深层至浅层的多尺度特征P后,添加新特征映射图N重复上述步骤,生成最终多层次特征融合映射图N:N={N