1.一种用于病虫害图像分类的细粒度识别方法,其特征在于:根据人类视觉神经系统识别物体的过程,针对种类多样且类间类内差异大的农业害虫图像,基于显著性检测设计了一种细粒度分类模型,模型主要由目标定位模块OPM和多特征融合模块MFFM组成,OPM通过U型网络结构整合图像浅层细节信息和深层空间信息,初步划定显著区域并输出空间语义特征,MFFM通过对空间语义特征和抽象语义特征进行双线性池化操作获取融合特征,增加细节特征,弱化背景信息,图像经过OPM和MFFM处理后,通过目标区域裁剪和掩膜方式进行辅助训练,即可根据最终获取特征进行分类,针对背景复杂,特征相似的害虫图像,在提高分类准确率的前提下降低成本;OPM模块以ResNet‑50为基础,对称的设计了特征提取和图像生成两个部分,输入图像尺寸为448×448,将原图和目标像素级标签输入训练模型,图像经过特征提取部分后,将输出特征图输入到过渡桥接模块Bridge中做特征缓冲处理,之后与U型网络相似,通过特征拼接卷积的方式,对特征图进行反卷积和上采样向上层层传递,在这个过程中,图像生成部分的每一层都输出一张显著性检测图像,并同目标像素级标签计算损失函数,模型构建过程中,由于害虫图像背景复杂多样,极易同目标混淆,为了提高目标区域分割的精度,设计了更加精准的图像损失函数LMBMS:式中:i表示第i层卷积层;
(a)交叉熵函数Lbce用于计算像素级标注的损失:
式中:G(wi,hi)∈{0,1}表示像素点(wi,hi)的标签值;S(wi,hi)表示模型的预测值;
(b)结构性损失函数Lms‑ssim用于计算区域级标注的损失,对大小为N×N的区域P内的任一像素点p:
则依据上式(3)~式(6),可以得到Lms‑ssim:
2 2
式中:x={xj:j=1,...,N},y={yj:j=1,...,N}分别为标签图像G和预测结果S上,对应区域P内的像素值;L(x,y)为亮度对比因子;C(x,y)为对比度因子;S(x,y)为结构对比因子;μx,μy和σx,σy分别为x,y的均值和方差;σxy为x和y的协方差;M为窗口缩进因子;为区域p的中心像素点;在多特征融合阶段,结合细粒度图像分类的思想,设计了多特征融合模块MFFM,不同于简单的利用输入图像浅层特征进行掩膜处理来引导图像关注目标区域,模块加入了由目标定位模块得到的图像深层空间语义特征,将其与残差网络获取的深层抽象语义特征进行多模双线性池化处理,实现了特征融合,得到的特征既包含了浅层细节信息和深层语义信息,也包含了空间位置信息,两个特征矩阵在进行特征融合后,数据维度由[M×N]转换为[MN×1],之后根据公式(8)进行数据处理;
将融合的特征同空间语义特征和抽象语义特征拼接并输入到线性分类器,便可以进行病虫害图像分类。