1.面向低计算资源装备的农田障碍物检测方法,其特征在于,包括以下步骤:S1、收集农田图像数据并进行预处理;
S2、选择一个图像数据集并对其进行前景分割,然后与农田图像数据进行合成,得到农田障碍物检测数据集;
S3、建立检测模型并在S2选择的图像数据集上进行知识蒸馏的预训练,得到轻量级学生模型;
S4、将轻量级学生模型作为骨干网络构建检测模型,利用农田障碍物检测数据集对检测模型进行微调;
S5、将配置好的模型部署到低计算资源的农业装备;
所述S1具体步骤为:
S101、批量获取农田正面图像数据照片,对照片进行一致化预处理;
S102、对获取的图像进行分类,包括为每个图像赋予场景标签;
S103、基于S102分类的场景,利用问答式语言模型进行交互性问答;使用生成的语言描述结合原始图像生成新的图像样本,并调整生成参数;
S104、进行数据清理,去除相同图片和质量较低的图片;
S105、将进行数据清洗后的图片样本进行剪裁,并按照7:1:2的数量比例将图像分为训练集、验证集和测试集;
所述S3具体步骤为:
S301、构建教师模型和轻量级学生模型;
S302、第一阶段的知识蒸馏,将构建好的模型在S201选择的公开数据集上进行预训练,使用无标签的图片进行输入,并使用数据增强;
S303、再次对模型进行知识蒸馏,得到经过知识蒸馏的轻量级学生模;
所述S4具体步骤为:
S401、将处理好的轻量级学生模型集成到Mask R-CNN框架中,替换原有的ResNet,确保适当地连接轻量级学生模型的中间层以供后续使用;
S402、在轻量级学生模型的输出之上添加FPN组件,所述FPN组件为用于目标检测和语义分割任务的神经网络架构组件;
S403、根据轻量级学生模型和FPN组件的特性,调整网络架构,确保输入尺寸、通道数能够协同工作;
S404、使用带障碍物的农田图像目标检测数据集,对修改后的Mask R-CNN进行训练;
S405、使用测试集评估训练好的修改后的Mask R-CNN模型,检查模型在目标检测和实例分割任务上的准确性和效率,确保轻量级学生模型在保持性能的同时满足实际应用的需求;
所述S5具体步骤为:
S501、选择适用于低计算资源设备的深度学习推理框架;
S502、将轻量级学生模型转换为适用于目标推理框架的格式;
S503、针对低计算资源的农业装备,使用边缘计算设备的推理硬件;
S504、将模型嵌入到装备的嵌入式系统中,使用ARM架构的单板计算机,并使用测距相机判断距离,在目标范围的物体判定为障碍物。
2.根据权利要求1所述的面向低计算资源装备的农田障碍物检测方法,其特征在于,所述S2具体步骤为:S201、选择公开的图像数据集,所述公开图像数据集中包括与农田场景有关的图像样本;在所述公开图像数据集中选择与农田场景相关的类别,并在每个类别中抽取部分图像,通过前景分割算法,提取这些图像中的前景物体,得到前景掩码M;
S202、将S1得到的图像与S201分割后的图像进行合成,得到农田障碍物检测数据集;所述合成的方法包括物体摆放算法、图像融合算法、图像和谐化算法和噪声生成算法。
3.根据权利要求2所述的面向低计算资源装备的农田障碍物检测方法,其特征在于,所述S202的图像合成过程具体如下:S2011、在另一个公开数据集中获取农田背景图片数据,对农田背景图像进行背景分割处理,再通过SAM分割得到农田背景图像分割区域数据,从而得到前景障碍物图像拼贴放置的位置;将S201得到的障碍物前景数据拼贴在农田背景图像分割区域数据上,通过透视感知调整障碍物的大小;
S2012、对合成图像进行颜色、光照的调整确保合成的障碍物与周围环境一致;然后通过UNet生成器G,将合成图像和前景掩码M转换为和谐图像,利用全局鉴别器区分真实图像和生成图像,引导生成器生成逼真的图像,利用域验证鉴别器验证生成图像中前景和背景的域匹配程度,并根据域验证损失优化生成器;
S2013、在调整好的图像上模拟雨天、雾天以及黑夜场景;并在图像中加入图像噪声,所述图像噪声包括光斑、镜头晕影;
S2014输出具有详细的图像标签的农田障碍物检测数据集,所述图像标签包括障碍物的类别、所处位置和障碍物图像大小。
4.根据权利要求1所述的面向低计算资源装备的农田障碍物检测方法,其特征在于,S301中所述教师模型和轻量级学生模型各包括输入嵌入层、位置编码层、编码器层;具体工作方式如下:所述嵌入层将用于将图像分为一个个的块patch,并将每个patch投射为一个向量token,并包括一个用于图像分类的向量class token;
所述位置编码层用于对每一个token都有一个绝对的位置数字表示,并位置的数值加到token上;
所述编码器层包括:
归一化模块,用于计算样本所有特征图的均值和方差,然后对所述样本进行归一化;
多头注意力机制将输入的特征映射分为多个头,每个头学习不同的关注权重,使模型能够同时关注输入特征的不同局部信息;每个头都会产生一个独立的注意力图,然后这些图通过加权求和的方式融合在一起,形成最终的注意力表示;
正则化模块,用于在训练过程中随机丢弃部分神经元的输出,防止模型过度依赖特定的神经元,强制网络学习更鲁棒的特征表示;
多层感知机模块,包括两个全连接层,通过将输入特征进行非线性变换,引入更丰富的特征表示;具体为:第一个全连接层将输入特征映射到一个高维空间,然后通过激活函数引入非线性变换,第二个全连接层将特征映射回原始维度;
所述教师模型经过输入嵌入层后的token最后一维的维度是768,编码器层每一层拥有12个头的多头注意力机制;
所述轻量级学生模块经过输入嵌入层后的token最后一维的维度是192,编码器层的第一层和第十层为拥有12个头的多头注意力机制,其余层为拥有6个头的多头注意力机制。
5.根据权利要求1所述的面向低计算资源装备的农田障碍物检测方法,其特征在于,所述S302中,第一次知识蒸馏的过程是通过计算教师模型和轻量级学生模型之间的自注意力行为KL离散度,然后将其作为损失函数来对模型进行训练。
6.根据权利要求1所述的面向低计算资源装备的农田障碍物检测方法,其特征在于,所述S302中,第二次知识蒸馏的过程是首先基于轻量级学生模型输出的分类概率、标签信息获得交叉熵损失;再计算轻量级学生模型和教师模型的logit值的KL离散度;再将所述交叉熵损失与所述轻量级学生模型和教师模型的logit值的KL离散度损失相加;最后将两种损失相加得到的损失作为第二次蒸馏的损失函数来训练轻量级学生模型;输出经过知识蒸馏的轻量级学生模型。