1.一种基于少样本学习的穗类作物统一计数方法,其特征在于,包括如下操作:
从网络上获取穗类作物的开源数据集,并对所述开源数据集进行数据清晰得到处理后的数据集,对所述处理后的数据集进行数据预处理并构建作物数据集;
选用视觉基础模型作为主干网络,通过视觉特征提纯模块过滤所述作物数据集中支持图像的背景;
通过多尺度相似性比较模块,将所述作物数据集中查询图像与支持图像在不同尺度上进行点对点的特征比较,得到多尺度相似性图;
通过多尺度特征增强模块,将所述多尺度相似性图与支持图像特征进行融合,得到融合相似性特征图,将所述融合相似性特征图添加至初始的查询图像特征中,得到增强后的特征图,并将所述增强后的特征图重新输入至所述多尺度相似性比较模块中进行特征增强迭代,生成迭代增强后的特征图;
通过回归头对所述迭代增强后的特征图进行回归生成密度图,并对所述密度图进行回归得到最终计数。
2.根据权利要求1所述的一种基于少样本学习的穗类作物统一计数方法,其特征在于,所述视觉特征提纯模块使用掩码替代边界框,描绘对象的边界和形状信息,将支持图像的边界框作为提示,生成作物头部的掩码,并从嵌入特征中提取与掩码位置对齐的特征,将视觉变换器作为支持图像和查询图像的图像编码器,利用预训练的DINOv2权重进行视觉变换器嵌入,选定的特征需要经过平均池化,生成最终的原型向量;设定支持图像为IS,生成的改进掩码图像MR的表达式为:MR=SAM(IS)
式中,MR为改进掩码图像;SAM为使用SAM视觉分割模型进行分割;IS为支持图像;
查询图像IQ的视觉变换器嵌入特征FP的表达式为:
FP=ViT(IQ)
式中,FP为视觉变换器嵌入特征;ViT为使用视觉变换器提取特征;IQ为查询图像;
提取的掩码特征的表达式为:
FS=FP·MR
式中,FS为提取的掩码特征;FP为视觉变换器嵌入特征;MR为改进掩码图像;
提取的掩码特征即为支持图像特征,其使用三种不同尺度汇集成原型k代表不同的尺度,即使用不同大小的平均池化操作。
3.根据权利要求1所述的一种基于少样本学习的穗类作物统一计数方法,其特征在于,所述多尺度相似性比较模块对视觉特征提纯模块中的原型和不同尺度的查询图像特征进行相似性比较,其使用三种不同大小的内核进行池化操作,生成三种不同尺度的原型,使用表示查询图像特征,表示原型特征,N表示支持图像的数量,多尺度相似性比较模块包括以下步骤:特征映射,三个不同大小的原型特征fS和查询图像特征fQ通过1×1卷积核和层归一化的组合被映射到同一个嵌入空间;
卷积比较,将三个不同大小的原型特征fS作为卷积核,并与查询图像特征fQ进行卷积,通过点-面特征交互生成初始相似性图初始相似性图的表达式为:式中,为初始相似性图;fQ为查询图像特征;为原型特征;g为特征映射中的1×1卷积层和层归一化的组合;conv为对特征图进行以kernel为卷积核的卷积操作;kernel为使用特征图作为卷积核;k为尺度;
归一化,使用样例归一化和空间归一化对初始相似性图进行归一化操作:
式中,为初始相似性图经过样例归一化后的特征图;为初始相似性图经过空间归一化后的特征图;dim为特征图维度,dim=0表示样例维度,dim=1表示通道维度,dim=2表示高度维度,dim=3表示宽度维度;HS为初始相似性图高度;WS为初始相似性图宽度;C为初始相似性图的通道;softmaxdim为沿维度运行的softmax层;maxdim为在维度中确定最大值;为初始相似性图;exp为以e为底的指数函数;k为尺度;
得到多尺度相似性图Rk的表达式为:
式中,Rk为多尺度相似性图;是元素相乘;k为尺度;为初始相似性图经过样例归一化后的特征图;为初始相似性图经过空间归一化后的特征图。
4.根据权利要求1所述的一种基于少样本学习的穗类作物统一计数方法,其特征在于,根据所述多尺度相似性比较模块生成的三个不同尺度的多尺度相似性图,得到三个不同尺度相似性和空间信息的相似性特征图,即多尺度相似性特征增强模块,所述多尺度相似性特征增强模块包括以下步骤:多尺度相似性图转换为相似性特征图,使用翻转原型作为卷积核与三个不同尺度的多尺度相似性图进行卷积,根据多尺度相似性图Rk和支持图像特征生成三个不同尺度的相似性特征图相似性特征图的表达式为:式中,为相似性特征图;sum为将输入张量沿维度累加;Rk为多尺度相似性图;为支持图像特征;k为尺度;kernel为使用特征图作为卷积核;Flip为对特征图进行翻转操作;dim为维度;Conv为使用特征图作为卷积核的卷积操作;
多尺度空间注意力,将三个不同尺度的相似性特征图在全局范围内进行尺度比较,不关注相似性特征图的空间维度,根据注意力机制,沿通道维度执行MaxPool和AvgPool,串联MaxPool和AvgPool特征,并应用7×7卷积提取空间注意力图,将得到的空间注意力图与相似性特征图进行元素乘法运算,得到侧重于空间尺度的相似性特征图式中,为侧重于空间尺度的相似性特征图;为相似性特征图;k为尺度;σ为s型非线性函数;Conv为卷积运算,其内核大小为7×7;MaxPool为对特征图进行最大池化操作;
多尺度相似性特征图融合,以空间为中心的相似性特征图通过简单连接进行融合得到fC,通过5×5深度卷积聚合局部信息,再通过多分支深度卷积捕捉多尺度背景,并通过1×1深度卷积模拟通道间关系,经过1×1卷积层的降维处理后,得到跨越三个尺度的融合相似性特征图f'C;
特征增强,将融合相似性特征图添加到初始的查询图像特征fQ中进行特征增强,得到增强后的特征图fP,将增强后的特征图fP作为输入查询图像特征fQ,重新输入到多尺度相似性比较模块中,并进行N次特征增强迭代,得到迭代增强后的特征图:fP=LayerNorm(fQ+h(f’C))
式中,fP为增强后的特征图;LayerNorm为层归一化;fQ为查询图像特征;f'C为融合相似性特征图;h为对特征图进行由两个卷积层组成的卷积操作。
5.根据权利要求1所述的一种基于少样本学习的穗类作物统一计数方法,其特征在于,所述回归头包括卷积层、激活函数和双线性上采样。