欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202011343914X
申请人: 华南农业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.黄板害虫深度检测与计数方法,其特征在于,包括以下步骤:

S1:在田间相应位置部署黄板,摄像采集黄板图像数据;

S2:对图像进行预处理,对图像中害虫进行人工标注;具体的步骤包括:对图像中害虫进行人工标注,格式为Bgt=(xmin,ymin,xmax,ymax,cls),其中xmin、ymin、xmax、ymax是目标害虫边界框的坐标值,cls是目标害虫的类别标签;

S3:批量处理已标注的图像数据,组成训练数据集;具体包括以下步骤:

S31:对于黄板图像I,用高斯核平滑图像I得到I',计算I'的Lab颜色特征平均值得到Iu,计算I'的Lab颜色特征得到Iw,根据Iu和Iw的距离计算得到显著性分数图S;

S32:根据人工预设激活阈值α计算S的0‑1掩码图;即若S(i",j")≥α,则掩码图相应位置设置为1,否则设置为0,其中(i",j")表示S第i"行、第j"列对应位置的元素;

S33:使用最大连通图算法得到0‑1掩码图相应的边界框,记为边界框Bs;

S34:记由人工标注的边界框为Bgt,对Bs进行二次标注,具体计算式为:其中,Area(·)是边界框面积计算函数,ε为人工预设阈值;即若满足式子条件,则将Bs标为前景类,否则将Bs标为背景类;将(I,Bs,clsfb)和(I,Bgt,clsfb)组成训练数据集,clsfb是Bs的前景类/背景类标签;

S4:利用训练数据集,训练前景与背景分类CNN和害虫分类CNN;

S5:将待检测计数黄板图像数据作为输入,依次由图像显著性分析、前景与背景分类CNN、多先验框修正、害虫分类CNN进行处理,得到一组存在冗余的检测框;

S6:将存在冗余的检测框进行合并处理后,利用非极大值抑制算法进行处理,消除冗余检测框;具体的步骤包括:基于贪心策略将交并比较高且属于同类别的两个检测框 和进行合并得到新检测框 同时将 和 置信度之和赋予合并后的新检测框 删除 和 迭代此过程直至不存在交并比比较高且属于同类别的两个

检测框;接着采用非极大值抑制算法对合并后的检测框进行处理,消除冗余检测框;

S7:根据检测框统计不同类别害虫的数目,实现对害虫的计数。

2.根据权利要求1所述的黄板害虫深度检测与计数方法,其特征在于,在步骤S31中,所采用的高斯核为3×3高斯核。

3.根据权利要求1所述的一种黄板害虫深度检测与计数方法,其特征在于,所述步骤S4具体包括以下步骤:S41:构建前景与背景分类CNN,将Bs或Bgt对应的原图内容作为输入对前景与背景分类CNN进行训练,当原图内容小于前景与背景分类CNN接收域时使用白色填充,当原图内容大于前景与背景分类CNN接收域时进行压缩变换;前景与背景分类CNN的输出为前景/背景,训练时所用的损失函数为交叉熵损失函数,表示为:其中,cfb为真实前景/背景标签, 为前景与背景分类CNN网络预测的类别概率值;

S42:训练完前景与背景分类CNN,若前景与背景分类CNN的输出为背景,则丢弃相应的Bs;否则以Bs中心为锚点添加n个先验框Brefine,对Bs和Brefine进行再标注,记Bproposal代表Bs或Brefine,具体计算式为:其中,Area(·)是边界框面积计算函数,为人工预设阈值;即若满足式子条件,则将Bs或Brefine标为Bgt对应的害虫种类,否则将Bs或Brefine标为背景类;接着将(I,Bs,clspest)、(I,Brefine,clspest)和(I,Bgt,clspest)组成训练集训练害虫分类CNN,其中clspest是再标注类别标签,具体为:将Bs、Brefine或Bgt对应的原图内容作为输入,当原图内容小于害虫分类CNN接收域时使用白色填充,当原图内容大于害虫分类CNN接收域时进行压缩变换;害虫分类CNN输出为背景/害虫类别,训练时所用的损失函数为交叉熵损失函数,表示为:其中,ci是真实害虫标签,为害虫分类CNN预测的类别概率值;

4.根据权利要求3所述的一种黄板害虫深度检测与计数方法,其特征在于,所述步骤S5具体为:对于待检测计数黄板图像数据I”,其由图像显性分析得到的边界框为Bs',将(I”,Bs')送入前景与背景分类CNN中,若输出为背景,则丢弃Bs',否则以Bs'中心为锚点添加n个先验框Brefine并将(I”,Bs)和(I”,Brefine)送入害虫分类CNN中,得到一组存在冗余的检测框Bdection。

5.黄板害虫深度检测与计数系统,应用于如权利要求1~4任一项所述的黄板害虫深度检测与计数方法,其特征在于,包括摄像机、物联网设备、服务器和处理器,其中:所述摄像机设置在田间黄板设置的相应位置,与所述物联网设备通信连接,用于定时拍摄黄板图像,并将黄板图像数据发送至物联网设备;

所述物联网设备与所述服务器网络连接,物联网设备将接收到的黄板图像数据上传至服务器进行存储;

所述服务器与所述处理器电性连接,处理器调用服务器中的黄板图像数据,对于黄板害虫进行检测与计数,具体为:处理器对采集到的黄板图像进行预处理,对图像中害虫进行人工标注;

处理器批量处理已标注的图像数据,组成训练数据集,训练前景与背景分类CNN和害虫分类CNN;

处理器将服务器上待检测计数的黄板图像数据作为输入,依次由图像显著性分析、前景与背景分类CNN、多先验框修正、害虫分类CNN进行处理,得到一组存在冗余的检测框;

处理器对存在冗余的检测框进行合并处理后,利用非极大值抑制算法进行处理,消除冗余检测框;

处理器通过得到的检测框统计不同类别害虫的数目,实现对害虫的计数。

6.根据权利要求5所述的一种黄板害虫深度检测与计数系统,其特征在于,在所述处理器上设置有人机交互界面,通过所述人机交互界面实现对采集到的黄板图像进行预处理,对图像中害虫进行人工标注。

7.根据权利要求6所述的一种黄板害虫深度检测与计数系统,其特征在于,所述处理器包括数据处理模块、前景与背景分类器模块、害虫分类器模块和检测计数模块,其中:所述数据处理模块用于处理已标注的图像数据,组成训练数据集,用于所述前景与背景分类器模块、害虫分类器模块分别训练前景与背景分类器、害虫分类器;

所述前景与背景分类器模块用于训练前景与背景分类器;

所述害虫分类器模块用于训练害虫分类器;

所述检测计数模块用于调用图像显著性分析器生成Bs'、调用训练前景与背景分类器处理Bs'并结合n个先验框生成Br'efine、调用害虫分类器识别Bs'和Br'efine、调用基于合并策略改进的非极大值抑制器处理冗余检测框,对待检测计数的黄板图像数据进行检测与计数,并将结果显示于所述人机交互界面上。