欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020113176178
申请人: 沈阳农业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种日光温室番茄植株图像无监督深度估计方法,其特征是:构建基于双目图像的日光温室番茄植株无监督深度估计模型,包括以下步骤:(1)设置深度卷积自编码器来作为实现双目图像深度估计的函数fD,所述函数fD以日光温室番茄植株双目图像(Il,Ir)作为输入,预测与图像像素对齐的左、右目视差图(Dl,Dr);

(2)fB为可微分双线性插值采样函数,所述函数fB能够根据Dl从Ir上采样,重构左目图像同时用该函数重构右目图像(3)设置能够度量图像表观差异的函数pe来度量重构图像 和目标图像Il、Ir的重构误差,以该误差为监督信号,以 为fD·fB复合函数优化训

练的目标,训练完成后,将复合函数解耦;

(4)用完成训练且解耦后的fD函数来估计日光温室番茄植株双目图像的视差,并用Zl=fb/Dl得到图像深度Zl,其中f、b分别为相机的焦距和基线距离;

所述设置深度卷积自编码器获得函数fD的方法如下:

①设置横向混合分组扩张卷积及基于其的具不同感受野注意力机制的反向残差模块;

所述卷积自编码器用卷积模块来构建,该卷积模块结构可有效提高单层卷积模块的感受野,同时有利于提取图像局部特征;

②采用基于横向混合分组扩张卷积并具不同感受野注意力机制的反向残差模块设计深度估计模型所需的卷积自编码器,并将其用作fD函数;

所述能够度量图像表观差异的函数pe的设置方法为:

为所述基于双目图像的日光温室番茄植株无监督深度估计模型定义光不敏感植株图像表观差异度量函数,将图像像素空间的L1距离、结构近似度指数SSIM、图像边缘特征的L1距离、图像Gabor纹理特征的L1距离的线性组合,作为日光温室番茄植株图像的光不敏感表观差异度量函数pe;

所述模型训练为对日光温室番茄植株图像深度估计模型进行无监督训练,方法为:采用双目相机在种植作物为番茄的日光温室里采集大量双目图像直接用于深度估计模型的预训练,同时在模型工作于智能设备上时,采用边工作边学习的在线无监督训练模式,以适应多变的工作环境。

2.根据权利要求1所述的一种日光温室番茄植株图像无监督深度估计方法,其特征是:所述设置深度卷积自编码器获得函数fD的方法如下:

(1)横向混合分组扩张卷积及基于其的具不同感受野注意力机制的反向残差模块设置a.设置横向混合分组扩张卷积的计算模块HHGDConv,所述HHGDConv包含G个等宽深度化卷积方法分组,并将G作为其超参数,各深度化卷积分组的扩张率分别取1~G,各组的输入特征图是相同的,对各深度化卷积分组输出的特征图采用元素级求和的方式进行融合,并将融合结构作为HHGDConv的输出特征图;设深度化卷积的卷积核大小为k×k,输入、输出2

通道数为A时,所述HHGDConv参数量为GAk ;所述HHGDConv可视为输入、输出通道数均为A的

2 2

卷积模块,相应的常规卷积的参数量为Ak;

b.采用反向残差结构,设计基于横向混合分组扩张卷积HHGDConv的反向残差模块IRM,并针对HHGDConv的结构特征设计自注意力机制;

所述IRM的输入特征图为 其中 表示实数域,C、H、W分别表示特征图的通道数、高度和宽度,首先用点卷积将具有C个通道的特征图FI扩展为具有SC个通道的特征图,S称为扩展因子超参数,再用HHGDConv在扩展特征图上进行空间特征提取和关系映射;

c.为IRM设置注意力机制,对HHGDConv的不同感受野大小的特征进行选择,基于通过全局平均池化操作将HHGDConv的输出特征图压缩成通道描述子 用于获取特征图全局信息,q表示通道描述子,该描述子为具有SC个元素的实数 向量;

d.在q基础上,采用2层非线性全连接层FC,学习并捕获HHGDConv的组间相关性,并输出选择向量s=softmax(W2LReLU(W1q)), 分别为2层FC的可学习参数,R为降低参数量而引入的缩减因子超参数,LReLU为渗漏型线性整流单元;

e.用选择向量s中的G个实数型元素值做门限值,与HHGDConv对应的G个不同扩展率的深度化卷积分组的输出特征图进行逐元素相乘,并再次对选择后的特征图进行元素级求和,即 sj表示选择向量s中的第j个元素,Fj表示HHGDConv的第j个深度化卷积分组的输出特征图,融合结果Fa作为基于全局自注意力机制的特征选择结果;

f.用点卷积映射Fa的通道间相关性,并调整模块的输出通道数为C′,产生输出特征图H′、W′分别表示输出特征图FO的高度和宽度,当FO和FI维度相同时,在输入和输出之间引入恒等映射;

(2)采用基于横向混合分组扩张卷积并具不同感受野注意力机制的反向残差模块设计深度估计模型所需的卷积自编码器,并将其用作fD函数采用基于横向混合分组扩张卷积的反向残差模块构建卷积自编码器CAE,用于作为深度估计模型的双目图像深度估计函数fD;所述CAE由编码器和解码器构成,将fD的输入双目图像(Il,Ir)在颜色通道上连接后输入编码器;编码器架构共有5个阶段,阶段1采用1个常规卷积,其输出特征图通道数设为C",其余阶段均采用IRM构建,每个阶段中的IRM宽度均相同,且每阶段第一个IRM的步长为2,用于特征图下采样,同时后一个阶段的IRM宽度是前一个阶段的2倍;解码器也有5个阶段,每个阶段先通过转置卷积对特征图进行上采样,并用元素级求和的方式融合编码器对应阶段的最后一个IRM的输出特征图,然后再用1个IRM解码特征,各阶段的转置卷积和IRM宽度在前一个阶段基础上减半,解码器阶段1的宽度固定为

16;整个CAE的网络宽度由超参数C"决定,在解码器尾端多个IRM上,设置输出通道数为4、配置有Sigmoid激活的conv3×3标准卷积用作预测模块,用于左、右目图像的视差图及对应的遮罩平面预测,除预测模块外,CAE的所有卷积均采用批归一化层BN和LReLU激活,并按Conv‑BN‑LReLU形式进行组合。

3.根据权利要求1所述的一种日光温室番茄植株图像无监督深度估计方法,其特征是:所述pe函数的定义为:

Ia、Ib表示任意等大小的2幅图像,α、β、θ为比例系数,可较好的度量2幅图像的表观差异, 为图像边缘特征的L1距离、 为图像Gabor纹理特征的L1距离;

所述 采用Sobel、Scharr、Prewitt一阶梯度算子和Laplacian二阶梯度算子提取图像边缘特征,并用4种边缘特征的L1距离的线性组合表示2幅图像的特征差异, 的定义式为和 分别表示Sobel、Scharr、Prewitt和Laplacian算子;

采用Gabor滤波器提取并比较图像纹理差异,Gabor函数的实数部分定义为x,y为Gabor滤波核内坐标,θ表示核方向,γ为核的纵横比,λ为cos函数的波长、ψ为相位,σ为高斯函数的标准差,x′=x cosθ+y sinθ,y′=‑x sinθ+y cosθ;本实施例选取λ∈{3,5}、σ=0.56λ、ψ=0、γ=0.5,θ∈{0,π/8,π/4,3π/8,π/2,5π/8,3π/4,7π/8},生成16个大小为7×7的Gabor滤波器核,组成16×7×7的张量模板,通过其对图像做卷积运算,提取图像I的纹理特征,记为Gabor(I), 的定义为:获得

4.根据权利要求1所述的一种日光温室番茄植株图像无监督深度估计方法,其特征是:所述模型训练为对日光温室番茄植株图像深度估计模型进行无监督训练,主要包括以下步骤:将模型输入图像大小设置为512×288像素,采用数据增广方法提高模型泛化效果,利用Adam优化器对模型进行训练,采用的数据增广方法主要包括:图像随机裁剪,从原图像中随机裁剪不小于85%边长的区域后调整为输入大小,接着对裁剪图像做水平和垂直随机翻转,并进一步对其亮度、对比度和饱和度在[0.85,1.15]范围内随机调整,然后用(pix‑

127.5)/127.5对各像素分量pix进行归一化后输入网络;增广过程中,采用相同的随机值对双目图像进行处理,以保持双目图像的一致性;采用小批量随机梯度下降法和Adam优化器‑5对模型进行训练,优化器参数设置为β1=0.9、β2=0.999,权重衰减因子设置为5×10 ,学‑4习率设置为2.0×10 。

5.根据权利要求2所述的一种日光温室番茄植株图像无监督深度估计方法,其特征是:所述超参数G取8,所述扩展因子超参数S取2,所述为降低参数量而引入的缩减因子超参数R取4,所述输出特征图通道数C"取24。

6.根据权利要求3所述的一种日光温室番茄植株图像无监督深度估计方法,其特征是:所述α、β、η为比例系数取值分别为0.85、0.25和0.05。