1.一种基于多尺度自注意力特征融合的小样本分割方法,其特征在于:包括以下步骤:步骤(1)、输入类别一致的查询图像和支持图像,使用预训练好的卷积孪生神经网络作为特征提取器分别对查询图像和支持图像进行特征提取,以得到高级查询特征、中级查询特征、高级支持特征和中级支持特征;
步骤(2)、将包含语义信息的高级查询特征和高级支持特征通过余弦相似性计算转换为目标激活图,即分别计算高级查询特征中每个像素点与高级支持特征中所有像素点的余弦相似性,然后选取最大的作为当前目标激活图的像素点的值;所述目标激活图展示每个像素属于目标类的概率;
步骤(3)、将步骤(1)所得中级支持特征与之相对应的真值掩码对应位置相乘得到对应真值图,通过真值图来过滤支持图像中繁杂的背景信息,然后再通过全局池化操作得到支持图像的支持原型;
步骤(4)、把步骤(1)所得中级查询特征、步骤(2)所得目标激活图和步骤(3)所得支持原型输入到多尺度自注意特征融合模块,进而得到用于最终分割的新查询特征,详细过程如下:首先,在[8,15,30,60]这四个尺度上把中级查询特征、支持原型以及目标激活图在通道维度上级联在一起,通过线性变换把四个尺度的通道大小再都映射为256,得到[8,15,30,60]四个尺度上的新的合并后的查询特征,k= {1,2,3,4}代表如上四个不同的特征尺度大小;
然后,把四个不同尺度的特征图全部展开为特征向量,则共计有(60*60+30*30+15*15+8*8)个特征向量,即所有尺度像素点的查询特征;
最后,通过多尺度自注意特征融合模块使所有尺度像素点的特征充分交互,其中把所有像素点特征通过三种线性变换分别得到Q、K和V,融合后的新查询特征如公式(3)所示:(3)
Q、K和V均是中间计算量,通过Q和K计算权重,以及通过权重与V聚合信息,τ是控制Softmax函数的平衡参数,Ins.Norm代表实例归一化操作;
所述多尺度自注意特征融合模块包括Self-Attention层,残差层和一个归一化层,Self-Attention层的输入token设置为4819,每个token大小1×1×256(w×h×c);随后经过两层的全连接层以及softmax得到聚合信息的权重,接着与V聚合多尺度信息,再用残差连接合并原来的信息,最后用Ins.Norm进行实例归一化操作;
步骤(5)、把步骤(4)所得新查询特征图与真实的查询分割图做损失,通过多次迭代训练得到最后分割结果。
2.根据权利要求1所述的基于多尺度自注意力特征融合的小样本分割方法,其特征在于:所述步骤(1)通过在ImageNet数据集上预训练好的卷积孪生神经网络,对查询图像和支持图像进行特征提取,从而得到二者的一致性特征表达。
3.根据权利要求1所述的基于多尺度自注意力特征融合的小样本分割方法,其特征在于:所述步骤(2)获取目标激活图的具体过程如下:定义高级支持特征和高级查询特征中每个像素点分别为:和;对于每个像素点,,将其与所有支持像素点之间的最大相似性作为对应值,则获得先验目标激活图的公式(1)如下:(1)
;
其中,表示高级查询特征像素点的个数。
4.根据权利要求1所述的基于多尺度自注意力特征融合的小样本分割方法,其特征在于:所述步骤(3)通过掩码全局池化生成公式如式(2):(2)
其中,GAP代表全局池化操作;和分别表示为中级支持特征及其对应大小的真值图。
5.根据权利要求1所述的基于多尺度自注意力特征融合的小样本分割方法,其特征在于:所述步骤(5)迭代过程中采用随机梯度进行200次迭代,每轮迭代批次batch设置为8,模型学习率为0.0025,衰减速率为0.0001,直到200次迭代,保存最好的模型用于最终的测试。