1.基于深度学习的番茄病虫害检测与识别方法,其特征在于,包括以下步骤:
(1)收集多张番茄病虫害图像,并标注出每张番茄病虫害图像中病虫害位置,将原番茄病虫害图像和已标注出病虫害位置的番茄病虫害图像作为第一个样本训练集;
(2)标注步骤(1)的番茄病虫害图像中病虫害位置所属的病虫害类别,将已标注出病虫害位置的番茄病虫害图像以及其所属的病虫害类别作为第二个样本训练集;收集多张健康番茄植株图像,将多张健康番茄植株图像以及其所属的健康类别作为第二个样本训练集;
(3)对第一个样本训练集和第二个样本训练集分别进行数据增强,得到新的第一个样本训练集和新的第二个样本训练集;
(4)利用新的第一个样本训练集训练基于Transformer的YOLOX目标检测网络,得到训练完成的病虫害目标检测模型;
(5)利用新的第二个样本训练集训练旋转不变Fisher判别CNN网络,得到训练完成的病虫害分类识别模型;
(6)将待检测的番茄图像输入至病虫害目标检测模型,从而定位出番茄图像中病虫害位置;
(7)将定位出番茄图像中病虫害位置的图像输入至病虫害分类识别模型,从而识别出番茄图像中病虫害类别。
2.根据权利要求1所述的基于深度学习的番茄病虫害检测与识别方法,其特征在于,所述的数据增强为对样本进行4次随机角度旋转操作。
3.根据权利要求1所述的基于深度学习的番茄病虫害检测与识别方法,其特征在于,所述的基于Transformer的YOLOX目标检测网络包括Swin Transformer主干网络、BiFPN加强特征提取网络和输出网络。
4.根据权利要求3所述的基于深度学习的番茄病虫害检测与识别方法,其特征在于,所述的Swin Transformer主干网络包括阶段一、阶段二、阶段三和阶段四;
所述阶段一包括用于通过卷积使输入图像实现下采样与维度变换的分块嵌入模块和2个Swin Transformer模块;所述阶段二包括对输入图像进行形状转换与分块合并的分块合并模块和2个Swin Transformer模块;所述阶段三包括对输入图像进行形状转换与分块合并的分块合并模块和6个Swin Transformer模块;所述阶段四包括对输入图像进行形状转换与分块合并的分块合并模块和2个Swin Transformer模块。
5.根据权利要求4所述的基于深度学习的番茄病虫害检测与识别方法,其特征在于,所述BiFPN加强特征提取网络包括上采样路径和下采样路径;
将Swin Transformer主干网络中的阶段二作为上特征层,阶段三作为中特征层,阶段四作为深特征层,对深特征层的输出做reshape操作,得到深层特征图,对中特征层的输出做reshape操作,得到中层特征图,对上特征层的输出做reshape操作,得到上层特征图;其中深层特征图、中层特征图和上层特征图均为BiFPN加强特征提取网络的输入;
BiFPN加强特征提取网络的上采样路径为:深层特征图经过2倍的上采样操作后与中层特征图融合,然后经过卷积操作提取特征,得到第一卷积操作的输出,然后对第一卷积操作的输出进行2倍的上采样操作后,与上层特征图融合,再对融合的结果做卷积操作得到第一个有效特征层的输出;
BiFPN加强特征提取网络的下采样路径为:第一个有效特征层的输出再经过2倍的下采样操作后,与第一卷积操作的输出以及中层特征图融合,再对融合的结果做卷积操作得到第二个有效特征层的输出;第二个有效特征层的输出再经过2倍的下采样操作后,与深层特征图融合,再对融合的结果做卷积操作得到第三个有效特征层的输出。
6.根据权利要求5所述的基于深度学习的番茄病虫害检测与识别方法,其特征在于,所述输出网络包括三个解耦检测模块层、拼接层和转置层,三个解耦检测模块层同时与拼接层连接,拼接层与转置层连接;其中解耦检测模块层由依次连接的解耦检测头、拼接层和形状转换层组成;
解耦检测头包括卷积层、BN层和SiLU激活函数层。
7.根据权利要求1所述的基于深度学习的番茄病虫害检测与识别方法,其特征在于,所述旋转不变Fisher判别CNN网络包括5个卷积层、全连接层、旋转不变Fisher判别层和softmax分类层;
其中第1个卷积层包括两次卷积操作,第2个卷积层包括两次卷积操作,第3个卷积层包括三次卷积操作,第4个卷积层包括三次卷积操作,第5个卷积层包括三次卷积操作,全连接层包括三次卷积操作;第1个卷积层与第2个卷积层之间、第2个卷积层与第3个卷积层之间,第3个卷积层与第4个卷积层之间,第4个卷积层与第5个卷积层之间,第5个卷积层与全连接层之间均设有最大池化层。
8.根据权利要求7所述的基于深度学习的番茄病虫害检测与识别方法,其特征在于,所述旋转不变Fisher判别CNN网络的目标函数为:其中,WRI表示旋转不变Fisher判别CNN网络的所有权重,BRI表示旋转不变Fisher判别CNN网络的所有偏置,XRI={xi|xi∈X∪TX},表示数据增强后的新的第二个样本训练集,其中X表示数据增强前的第二个样本训练集,T={T1,T2,T3,T4}表示4次旋转操作,TX表示X内的所有样本分别经过4次旋转操作后得到的样本数据,数据增强前的第二个样本训练集的总数为N,XRI的数量为N*5;λ1、λ2和λ3表示权衡参数,<a,b>表示a与b的内积,表示训练样本xi的类别标签,O8(xi)表示训练样本xi的softmax分类层的输出特征,O7(xi)表示训练样本xi的旋转不变Fisher判别层的输出特征,表示训练样本xi经过4次旋转操作后得到的样本经过旋转不变Fisher判别层的输出特征平均值,nj为第j个类别内的样本数量,mj表示第j个类别内的所有样本的平均特征表示,共有7个类别,m为所有类别的所有样本XRI的平均特征表示,tr为矩阵的迹,表示矩阵对角线元素之和。