1.一种基于层级多尺度特征融合的杂草识别方法,其特征在于,包括以下步骤:
步骤S1:构建图像数据集;图像数据集由Cropandweed数据集划分得到;
步骤S2:构建HDMS多种杂草目标检测模型;所述HDMS多种杂草目标检测模型是将YOLO11模型的特征提取网络中的C3k2模块替换为PC-MSFA模块,将YOLO11模型的检测网络的检测模块替换为IntergraDet模块得到;
步骤S3:将图像数据集输入构建的HDMS多种杂草目标检测模型进行训练,获得训练后的HDMS多种杂草目标检测模型;
步骤S4:采用训练后的HDMS多种杂草目标检测模型进行农田中杂草的识别;
特征提取网络包括SRFD模块,SRFD模块的输出端依次连接第一PC-MSFA模块、第一DRFD模块、第二PC-MSFA模块、第二DRFD模块、第三PC-MSFA模块、第三DRFD模块、第四PC-MSFA模块、SPPF模块、C2PSA模块;
所述第二PC-MSFA模块包括全局平均池化、全局最大池化、第三普通卷积;第一DRFD模块的输出端分别连接全局平均池化、全局最大池化、第三普通卷积;
全局平均池化的输出端与全局最大池化的输出端连接第七融合模块,第七融合模块的输出端连接Sigmoid激活函数,Sigmoid激活函数的输出端与第一DRFD模块的输出端连接第八融合模块,第八融合模块的输出端连接第十普通卷积;
第三普通卷积的输出端分别连接第四普通卷积和第五融合模块,第四普通卷积的输出端分别连接第五普通卷积和第五融合模块,第五普通卷积的输出端连接第五融合模块,第五融合模块的输出端连接第六普通卷积;
第六普通卷积的输出端与第十普通卷积的输出端连接第六融合模块,第六融合模块的输出端连接第十一普通卷积。
2.根据权利要求1所述的一种基于层级多尺度特征融合的杂草识别方法,其特征在于,所述IntergraDet模块包括第一共享卷积层,第一共享卷积层的输出端依次连接第一归一化层、第二共享卷积层、第二归一化层、特征融合模块,特征融合模块的输出端分别连接生成掩码和偏移量模块、第一任务分解模块、第二任务分解模块、第一激活函数模块;
生成掩码和偏移量模块的输出端和第一任务分解模块的输出端均与可变形卷积V2模块连接;
第二任务分解模块的输出端和第一激活函数模块的输出端均与特征相乘融合模块连接;
可变形卷积V2模块的输出端分别连接第一分类卷积模块、第二分类卷积模块、第三分类卷积模块;
特征相乘融合模块的输出端分别连接第一回归卷积模块、第二回归卷积模块、第三回归卷积模块,第一回归卷积模块的输出端连接第一尺度调整模块,第二回归卷积模块的输出端连接第二尺度调整模块,第三回归卷积模块的输出端连接第三尺度调整模块。
3.根据权利要求2所述的一种基于层级多尺度特征融合的杂草识别方法,其特征在于,所述HDMS多种杂草目标检测模型包括特征融合网络和检测网络;
特征融合网络包括第一上采样模块,C2PSA模块的输出端连接第一上采样模块,第一上采样模块的输出端与第四PC-MSFA模块的输出端连接第一融合模块,第一融合模块的输出端依次连接第五PC-MSFA模块、第二上采样模块,第二上采样模块的输出端与第二PC-MSFA模块的输出端连接第二融合模块,第二融合模块的输出端连接第六PC-MSFA模块,第六PC-MSFA模块的输出端连接第一普通卷积,第一普通卷积的输出端与第五PC-MSFA模块的输出端连接第三融合模块,第三融合模块的输出端依次连接第七PC-MSFA模块、第二普通卷积,第二普通卷积的输出端与第一上采样模块的输出端连接第四融合模块,第四融合模块的输出端连接第八PC-MSFA模块;
第六PC-MSFA模块的输出端、第七PC-MSFA模块的输出端和第八PC-MSFA模块的输出端均与IntergraDet模块连接;
其中,第一PC-MSFA模块、第二PC-MSFA模块、第三PC-MSFA模块、第四PC-MSFA模块、第五PC-MSFA模块、第六PC-MSFA模块、第七PC-MSFA模块、第八PC-MSFA模块结构相同。
4.根据权利要求3所述的一种基于层级多尺度特征融合的杂草识别方法,其特征在于,HDMS多种杂草目标检测模型的处理流程:首先将图像数据集输入SRFD模块进行处理,获得SRFD模块的输出,将SRFD模块的输出依次输入第一PC-MSFA模块、第一DRFD模块和第二PC-MSFA模块进行处理,获得第二PC-MSFA模块的输出F1;
将第二PC-MSFA模块的输出F1依次输入第二DRFD模块、第三PC-MSFA模块、第三DRFD模块、第四PC-MSFA模块进行处理,获得第四PC-MSFA模块的输出F2;
将第四PC-MSFA模块的输出F2依次输入SPPF模块和C2PSA模块进行处理,获得C2PSA模块的输出F3;
将C2PSA模块的输出F3输入第一上采样模块进行处理,获得第一上采样模块的输出,将第一上采样模块的输出与第四PC-MSFA模块的输出F2一同输入第一融合模块进行处理,获得第一融合模块的输出C1;
将第一融合模块的输出C1输入第五PC-MSFA模块进行处理,获得第五PC-MSFA模块的输出C2;
将第五PC-MSFA模块的输出C2输入第二上采样模块进行处理,获得第二上采样模块的输出,将第二上采样模块的输出与第二PC-MSFA模块的输出F1一同输入第二融合模块,获得第二融合模块的输出C3;
将第二融合模块的输出C3输入第六PC-MSFA模块进行处理,获得第六PC-MSFA模块的输出C4;
将第六PC-MSFA模块的输出C4输入第一普通卷积进行处理,获得第一普通卷积的输出,将第一普通卷积的输出与第五PC-MSFA模块的输出C2一同输入第三融合模块进行处理,获得第三融合模块的输出C5;
将第三融合模块的输出C5输入第七PC-MSFA模块进行处理,获得第七PC-MSFA模块的输出C6;
将第七PC-MSFA模块的输出C6输入第二普通卷积进行处理,获得第二普通卷积的输出,将第二普通卷积的输出与第一上采样模块的输出一同输入第四融合模块进行处理,获得第四融合模块的输出C7;
将第四融合模块的输出C7输入第八PC-MSFA模块进行处理,获得第八PC-MSFA模块的输出C8;
将第六PC-MSFA模块的输出C4、第七PC-MSFA模块的输出C6和第八PC-MSFA模块的输出C8一同输入IntergraDet模块进行处理,获得IntergraDet模块的输出,IntergraDet模块的输出分别对应大、中、小三个尺度的检测。
5.根据权利要求4所述的一种基于层级多尺度特征融合的杂草识别方法,其特征在于,IntergraDet模块的处理流程:第六PC-MSFA模块的输出C4、第七PC-MSFA模块的输出C6和第八PC-MSFA模块的输出C8在IntergraDet模块中依次输入第一共享卷积层、第一归一化层、第二共享卷积层、第二归一化层、特征融合模块进行处理,获得联合特征;
将联合特征分别输入生成掩码和偏移量模块、第一任务分解模块、第二任务分解模块、第一激活函数模块进行处理,分别获得生成掩码和偏移量模块的输出、第一任务分解模块的输出、第二任务分解模块的输出和第一激活函数模块的输出,将生成掩码和偏移量模块的输出与第一任务分解模块的输出一同输入可变形卷积V2模块进行处理,获得可变形卷积V2模块的输出;
将第二任务分解模块的输出与第一激活函数模块的输出一同输入特征相乘融合模块进行处理,获得特征相乘融合模块的输出;
将可变形卷积V2模块的输出分别输入第一分类卷积模块、第二分类卷积模块、第三分类卷积模块进行处理,分别获得第一分类卷积模块的输出、第二分类卷积模块的输出、第三分类卷积模块的输出;
将特征相乘融合模块的输出分别输入第一回归卷积模块、第二回归卷积模块、第三回归卷积模块进行处理,获得第一回归卷积模块的输出、第二回归卷积模块的输出、第三回归卷积模块的输出,将第一回归卷积模块的输出输入第一尺度调整模块进行处理,获得第一尺度调整模块的输出;将第二回归卷积模块的输出输入第二尺度调整模块进行处理,获得第二尺度调整模块的输出,将第三回归卷积模块的输出输入第三尺度调整模块进行处理,获得第三尺度调整模块的输出;
第一分类卷积模块的输出与第一尺度调整模块的输出分别作为IntergraDet模块的大尺度检测的目标位置和类别,即大尺度的检测;
第二分类卷积模块的输出与第二尺度调整模块的输出分别作为IntergraDet模块的中尺度检测的目标位置和类别,即中尺度的检测;
第三分类卷积模块的输出与第三尺度调整模块的输出分别作为IntergraDet模块的小尺度检测的目标位置和类别,即小尺度的检测。
6.根据权利要求5所述的一种基于层级多尺度特征融合的杂草识别方法,其特征在于,第二PC-MSFA模块的处理流程:第一DRFD模块的输出通过二值门控矩阵机制进行筛选,获得筛选后的输出;将筛选后的输出分别输入全局平均池化、全局最大池化、第三普通卷积进行处理,获得全局平均池化的输出、全局最大池化的输出、第三普通卷积的输出;
将全局平均池化的输出与全局最大池化的输出一同输入第七融合模块进行处理,获得第七融合模块的输出,将第七融合模块的输出输入Sigmoid激活函数进行处理,获得Sigmoid激活函数的输出,将筛选后的输出与Sigmoid激活函数的输出一同输入第八融合模块进行处理,获得第八融合模块的输出,将第八融合模块的输出输入第十普通卷积进行处理,获得第十普通卷积的输出;
将第三普通卷积的输出输入第四普通卷积进行处理,获得第四普通卷积的输出,将第四普通卷积的输出输入第五普通卷积进行处理,获得第五普通卷积的输出;
将第三普通卷积的输出、第四普通卷积的输出、第五普通卷积的输出一同输入第五融合模块进行处理,获得第五融合模块的输出,将第五融合模块的输出输入第六普通卷积进行处理,获得第六普通卷积的输出,将第六普通卷积的输出与第十普通卷积的输出一同输入第六融合模块进行处理,获得第六融合模块的输出,将第六融合模块的输出输入第十一普通卷积进行处理,获得第十一普通卷积的输出,即为第二PC-MSFA模块的输出F1。
7.根据权利要求6所述的一种基于层级多尺度特征融合的杂草识别方法,其特征在于,二值门控矩阵,表示:;
式中,表示第i个通道的门控值,通过二值门控矩阵机制对第一DRFD模块输出进行筛选后得到筛选后的输出;表示权重与第一DRFD模块输出中的第i个特征的点积;表示阈值参数。
8.根据权利要求7所述的一种基于层级多尺度特征融合的杂草识别方法,其特征在于,C2PSA模块包括第一CBS模块,第一CBS模块的输出端连接特征分割模块,特征分割模块的输出端连接有多个叠加的点级空间注意力模块,点级空间注意力模块的输出端与特征分割模块的输出端连接特征拼接模块,特征拼接模块的输出端连接第二CBS模块;
C2PSA模块的处理流程:
SPPF模块的输出在C2PSA模块中首先依次输入第一CBS模块和特征分割模块进行处理,获得特征分割模块的输出,将特征分割模块的输出输入多个叠加的点级空间注意力模块进行堆叠处理,获得点级空间注意力模块的输出,将点级空间注意力模块的输出与特征分割模块的输出一同输入特征拼接模块进行处理,获得特征拼接模块的输出,将特征拼接模块的输出输入第二CBS模块进行处理,获得第二CBS模块的输出,即为C2PSA模块的输出F3。
9.根据权利要求8所述的一种基于层级多尺度特征融合的杂草识别方法,其特征在于,第一激活函数模块由依次连接的第七普通卷积、非线性激活函数模块、第八普通卷积和Sigmoid激活函数组成;
第一激活函数模块的处理流程:
特征融合模块的输出在第一激活函数模块中依次输入第七普通卷积、非线性激活函数模块、第八普通卷积和Sigmoid激活函数进行处理,获得Sigmoid激活函数的输出,即为第一激活函数模块的输出。
10.一种基于层级多尺度特征融合的杂草识别系统,用于实施权利要求1-9中任意一项所述的基于层级多尺度特征融合的杂草识别方法,其特征在于,包括:数据构建模块,用于构建图像数据集;图像数据集由Cropandweed数据集划分得到;
基础模型构建模块,用于构建HDMS多种杂草目标检测模型;所述HDMS多种杂草目标检测模型是将YOLO11模型的特征提取网络中的C3k2模块替换为PC-MSFA模块,将YOLO11模型的检测网络的检测模块替换为IntergraDet模块得到;
训练模块,用于将图像数据集输入构建的HDMS多种杂草目标检测模型进行训练,获得训练后的HDMS多种杂草目标检测模型;
识别模块,用于采用训练后的HDMS多种杂草目标检测模型进行农田中杂草的识别。