欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 202010781114X
申请人: 温州大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于端到端的雾霾浓度自适应神经网络图像去雾方法,其特征在于:包括以下步骤:S1、构建图像去雾模型,其中,该图像去雾模型包括金字塔特征提取器、特征增强模块和多尺度特征注意力模块;

S2、获取有雾图像数据,利用金字塔特征提取器提取雾图经过卷积神经网络的四个不同层的特征图,将不同尺度信息融合生成有用信息;

S3、特征增强模块级联不同路径恢复的图像,将具有不同浓密雾度的模糊图像拼接在一起,帮助网络自适应感知图像雾霾浓度;

S4、将特征增强模块生成的特征通过多尺度特征注意力模块重构为清晰的无雾图像;

S5、计算恢复图像和对应清晰图像的均方误差和感知损失,更新图像去雾模型;其中,均方误差指导图像去雾模型学习清晰图像的内容,感知损失用于量化恢复的图像和对应清晰图像之间的视觉差异,均方误差损失函数和感知误差损失函数两种损失函数协作优化去雾模型;

步骤S3,所述特征增强模块包括三个路径,

第一条路径有5层卷积层构成;具体,1‑4层神经网络由四个Conv+BN+ReLU组成,其过滤器大小为32×3×3×32,第5层是3×3卷积层,用于恢复生成图像,第二条和第三条路径分别为3×3卷积层;

将金字塔特征提取模块生成的高层特征通过第一条路径处理,中层与低层特征分别通过第二第三条路径处理,通过这些操作,特征增强模块可以生成雾度条件不同的三个雾度较浅图像;最后,使用拼接操作融合输入雾度最大图像和三个雾度较浅图像,以增强除雾模型的特征表达能力,同时直到模型自适应不同浓度的雾图。

2.根据权利要求1所述的一种基于端到端的雾霾浓度自适应神经网络图像去雾方法,其特征在于:步骤S5,具体包括:对恢复的图像和对应的清晰图像计算所用的均方误差损失函数具体公式为:

其中,N代表每批图像的数量,Y代表模型恢复的图像,X表示对应清晰的图像;

所用的感知误差损失函数具体公式为:

其中,Φk(.),k=1,2,3是指从上述三个阶段中提取的特征,Ck,Wk和Hk表示Φk(.)的维数,k=1,2,3;

总的去雾模型损失函数为:

L=Lmse+λ*Lper,

其中,λ是平衡这两个损失函数的参数。

3.根据权利要求2所述的一种基于端到端的雾霾浓度自适应神经网络图像去雾方法,其特征在于:步骤S2,具体包括:特征提取部分包括以下六层神经网络,按层顺序对于输入特征进行处理:第一层是7×

7卷积,其后是BatchNorm;第二层是步长为2的3×3Max‑pooling;Resblock放置在第3‑5层中,Resblock的数量分别设置为2、4、5和8;第六层是步长为1的1×1卷积;

经过每一层时,特征的分辨率降低一半,而特征的宽度则增加两倍于前一层;然后特征提取模块的融合部分将特征从第6层融合到第3层;在融合之前,对上层的特征进行上采样,然后利用逐元素加法融合来自下层的特征,以获取合并的特征;

最后,在每个拼接的特征图上使用一个3×3卷积来生成宽度为32的最终特征图,融合部分代表输入雾图低层特征;逐元素加法合并的4层5层神经网络生成的特征代表中层特征;6层神经网络输出特征代表高层特征,这些特征表示图像语义越来越强,金字塔特征提取器生成雾图的三种特征。

4.根据权利要求3所述的一种基于端到端的雾霾浓度自适应神经网络图像去雾方法,其特征在于:步骤S4,多尺度特征注意力模块使用全局上下文特征来建模两个不同位置像素之间的关系,以采用图像的内部信息来恢复纹理细节。

5.根据权利要求4所述的一种基于端到端的雾霾浓度自适应神经网络图像去雾方法,其特征在于:为了适应具有不同雾度条件的特征,将全局上下文模块放入多尺度结构中以学习纹理细节;多尺度结构中拥有四个全局上下文模块,相当于四条特征处理路径,其卷积核大小分别为1×1、3×3、5×5和7×7;

多尺度特征注意力模块中使用注意力机制指导网络丢弃冗余信息,侧重关注输入雾图中清晰图像重要的特征信息,以优化整个网络模型的训练过程;注意力机制通过注意层来实现,注意层是由卷积核为1×1的Conv和Tanh激活函数组成;注意力机制使用两个步骤来实现,第一步从多尺度结构的输出中采用卷积核大小为1×1的Conv和随后的Tanh激活函数将特征转换为向量作为权重;第二步利用权重乘以输入的特征;注意力机制引导前一阶段恢复纹理细节,最后,使用一个3x3的Conv联合注意力层来恢复最终的清晰图像。