欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019108824962
申请人: 华南农业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于Mask R-CNN的芒果实例对抗分割方法,其特征在于,包括:S1、建立自然场景下的芒果分割数据集;

S2、构建基于Mask R-CNN的分割网络;

S3、将构建的所述Mask R-CNN分割网络视为生成网络,在其Mask分支上添加一个判别网络;所述生成网络从输入图像中得到芒果的预测实例掩膜;所述判别网络的输入为Real或Fake芒果实例;将SmoothL1+IOU Loss替换Mask分支原来的二值交叉熵;

S4、所述生成网络与判别网络以交替对抗的策略进行优化训练,从而形成对抗网络模型;

S5、将训练后的所述对抗网络模型,进行芒果果实的实例分割。

2.如权利要求1所述的方法,其特征在于,所述步骤S1包括:S11、采集果园自然环境下的芒果数据:采集未成熟芒果的彩色图像,所述彩色图像包括芒果表皮光照不均、枝叶遮挡和果实重叠图像;

S12、数据标注:对图像中的每个芒果进行实例分割标注;

S13、划分芒果数据集:将标注后的数据按照预设比例构建训练集、验证集和测试集;

S14、数据扩充:对构建的训练集图像进行亮度调节、水平翻转、垂直翻转和对比度增强四种操作扩充数据集。

3.如权利要求1所述的方法,其特征在于,所述步骤S2,包括:S21、构建基础的Mask R-CNN网络,基础骨干网络选择ResNet50+FPN;相应地调整网络输出类别、预设锚点框比例和初始学习率;

S22、将测试阶段RPN在非极大抑制前保留的正样本框上限及在非极大抑制后的正样本框上限,进行适应调整。

4.如权利要求1所述的方法,其特征在于,所述步骤S3中Fake芒果实例图像构建过程,包括:S3111、根据RPN输出的锚点框修正值,以得到原始输入图像尺寸的正样本框;根据所述正样本框通过Mask R-CNN中ROI Align层映射到基础骨干网络输出的特征图后,得到尺寸为14×14的ROI;将所述ROI中前景值大于预设阈值的区域输入到原始的Mask分支网络,得到28×28的预测掩膜图像;

S3112、查找每个所述ROI中前景值大于预设阈值的区域所对应的原始输入图像的锚点框坐标,根据所述坐标在原始输入图像中裁剪出对应区域,再统一缩放至28×28,得到基于原图的归一化候选区域;

S3113、对所述预测掩膜图像进行sigmoid激活,将其值映射到[0,1]范围内;与所述基于原图的归一化候选区域进行点乘操作,得到Fake芒果实例。

5.如权利要求4所述的方法,其特征在于,所述步骤S3中Real芒果实例图像构建过程,包括:S3121、根据S3111的步骤,查找每个所述ROI中前景值大于预设阈值的区域所对应的原始输入图像的锚点框坐标,将所述坐标在原始标注掩膜中裁剪出对应区域,并且缩放至28×28,得到真实二值掩膜;

S3122、将所述真实二值掩膜与S3112步骤中得到的基于原图的归一化候选区域进行点乘操作,得到Real芒果实例。

6.如权利要求1所述的方法,其特征在于,所述步骤S3中将构建的所述Mask R-CNN分割网络视为生成网络,在其Mask分支上添加一个判别网络,包括:S321、生成网络的结构为原始的Mask R-CNN结构;判别网络的结构为四层卷积层,滤波核大小依次为4×4、4×4、3×3、3×3,输出通道数依次为64、128、256、512;

S322、将所述判别网络每层卷积层输出的特征图维度从Sn×Sn×Cn平铺为1×1×Dn;其中S代表每层卷积层输出的特征图尺寸,C代表每层卷积层的输出通道数,D代表特征图平铺后的通道数,n取值为1~4,代表卷积层输出的第1~4个特征矩阵;

S323、对所述判别网络的输入图像In以及四个平铺后的特征矩阵F1~4在通道的维度上进行拼接融合,拼接的各个值为:In,λ1*F1,λ2*F2,λ3*F3,λ4*F4其中为每个特征矩阵分配一个乘法因子λ,λ1~λ3取值为2,λ4取值为4。

7.如权利要求1所述的方法,其特征在于,所述步骤S3中SmoothL1损失计算公式为公式(1),式中的参数δ用来控制平滑的区域,取值为1:单个样本的IOU损失计算公式(2)为:

(1)(2)式中Mpred表示模型预测的掩膜,Mgt表示标注的掩膜;

Mask分支的联合损失如公式(3)所示:

LMask=smoothL1Loss+IOULoss  (3)判别网络的目的是最大化LMask损失,生成网络的目的是最小化LMask损失。

8.如权利要求1所述的方法,其特征在于,所述步骤S4,包括:

1)固定所述生成网络参数不变;

2)采用Adam优化算法更新一次判别网络,并且将更新后的判别网络参数权重裁剪至[-

0.03,0.03];

3)固定更新后的判别网络参数不变,进行一次前向传播;

4)将得到的损失值与分类分支、检测框回归分支以及RPN部分的损失值合并到一起,进行并行优化训练,以更新生成网络的参数;

5)重复执行上述步骤1)~4),直至训练损失完全收敛。