欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025110538517
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于扰动防御和语义引导的真实场景图像去雾方法,其特征在于:所述方法包括:Step1、获取RGB三通道的合成域有雾图像,并对合成域有雾图像进行预处理;

Step2、构建扰动防御模块,扰动防御模块包括高频信息防御分支和低频信息防御分支,将注入扰动的合成域有雾图像分别输入到扰动防御模块的高频信息防御分支和低频信息防御分支,分别用于获取过滤后的高频特征和过滤后的低频特征;然后将过滤后的高频特征和过滤后的低频特征合并为防御后的特征;

Step3、构建去雾网络,去雾网络包括特征提取模块和去雾解码器;将防御后的特征输入到去雾网络,在前向传播过程中对防御后的特征进行特征提取,然后将特征提取模块提取的特征输入到去雾解码器中,将低维度特征恢复成去雾后的图像;

Step4、构建源去雾网络,将合成域有雾图像输入到源去雾网络中并将参数固定,输出中间特征;

Step5、构建语义解码器,将特征提取模块提取的特征输入到语义解码器;语义解码器通过学习语义特征为去雾解码器实时提供语义信息;在前向传播过程中,语义解码器利用学习到的语义特征来帮助去雾网络的图像恢复;

Step6、构建多尺度融合模块,将去雾解码器的去雾特征和语义解码器的语义特征进行融合;同时,通过多尺度融合模块,将语义解码器生成的语义嵌入到去雾解码器生成的去雾特征中;

Step7、训练内容扰动防御模块、语义解码器、源去雾网络、多尺度融合模块和去雾网络;

Step8、将待去雾的真实域有雾图像输入到训练好的去雾网络进行去雾,得到去雾后的图像;

所述Step6包括:

首先将语义特征和去雾特征进行通道拼接和卷积操作得到特征,紧接着利用由全局平均池化、卷积、激活函数、卷积和Softmax组成的门控操作对拼接和卷积操作得到特征进行处理,获取融合权重;这个门控操作能动态调整去雾网络对图像去雾有用信息的关注程度,用于使去雾网络筛选出图像恢复的融合特征;然后将融合权重与拼接和卷积操作得到的特征进行像素点乘得到融合后的特征;融合后的特征得到的过程定义为:;

;

;

其中,代表语义特征,代表去雾特征,代表通道拼接操作,代表全局最大池化操作,代表卷积操作,代表激活函数,代表Softmax函数,代表融合权重,代表像素点乘操作,代表融合后的特征。

2.根据权利要求1所述的基于扰动防御和语义引导的真实场景图像去雾方法,其特征在于:所述Step1包括:所述预处理包括将RGB三通道的合成域有雾图像随机裁剪至128×128大小、在输入源去雾网络、扰动防御模块和去雾网络之前对合成域有雾图像进行归一化操作、采用随机裁剪、水平翻转、对比度增强数据增强方法来增加数据样本的多样性。

3.根据权利要求1所述的基于扰动防御和语义引导的真实场景图像去雾方法,其特征在于:所述Step2具体步骤包括:Step2.1、对于高频信息防御分支,将预处理好的合成域有雾图像输入高频信息防御分支处理得到过滤后的高频特征:具体包括:首先将预处理好的合成域有雾图像通过傅里叶变换转换到频率域;接着,利用由卷积、激活函数卷积和Softmax组成的门控操作,对频率域中的特征进行处理,获取高频权重;这个门控操作能动态地调整去雾网络对高频信息的关注程度,用于使去雾网络筛选出对图像恢复有益的高频特征并过滤掉扰动信息;然后,将获取的高频权重与频率域中的高频特征相乘;最后,通过傅里叶逆变换得到过滤后的高频特征;高频信息防御分支的处理过程表示为:;

;

;

;

其中,表示合成域有雾图像,表示随机初始化的扰动,表示注入扰动后的合成域有雾图像, 表示傅里叶变换,表示高频特征,表示卷积操作,表示激活函数,Softmax表示Softmax函数,表示高频权重,表示傅里叶逆变换,表示点乘操作,表示过滤后的高频特征;

Step2.2、对于低频信息防御分支,将预处理好的合成域有雾图像输入低频信息防御分支的处理得到过滤后的低频特征:具体包括:首先将经过预处理好的合成域有雾图像通过卷积操作来降低分辨率,获得与图像轮廓相关的低频特征;接着,利用由全局平均池化、全局最大池化、通道拼接、卷积、激活函数组成的门控操作对空间域中的低频信息进行处理获取低频权重;该门控操作动态地调整去雾网络对低频信息的关注程度,用于使去雾网络筛选出对图像恢复有益的低频特征并对低频特征中的扰动进行过滤;然后,将获取的低频权重与空间域中的低频特征相乘;最后,通过卷积得到过滤后的低频特征;低频信息防御分支的处理过程表示为:;

;

;

其中,表示注入扰动后的合成域有雾图像,表示低频特征,表示卷积操作,GAP表示全局平均池化,GMP表示全局最大池化,Cat表示通道拼接操作,表示激活函数,表示低频权重,表示点乘操作,表示过滤后的低频特征;

Step2.3、通过通道拼接操作将过滤后的高频特征和过滤后的低频特征在通道上进行拼接,并利用卷积、激活函数和卷积操作将过滤后的高频特征和过滤后的低频特征合并为防御后的特征;防御后的特征合并的过程定义为:;

其中,表示过滤后的低频特征,表示过滤后的高频特征,表示通道拼接操作,表示卷积操作,表示激活函数,表示防御后的特征。

4.根据权利要求1所述的基于扰动防御和语义引导的真实场景图像去雾方法,其特征在于:所述Step3中,所述去雾网络操作过程包括:将防御后的特征输入到特征提取模块中得到特征,将特征输入到密集残差卷积、自注意力组成的去雾解码器中得到去雾特征;去雾特征获取的过程定义为:;

;

;

;

;

其中,表示由特征提取模块得到的特征, 表示卷积操作,、和表示密集残差卷积的中间特征,表示全连接层操作,表示层归一化操作, 为雾霾图像的查询向量,为雾霾图像的键向量,为雾霾图像的值向量,为转置操作,d是查询向量Q、键向量K和值向量V的维度,表示函数,表示去雾特征。

5.根据权利要求1所述的基于扰动防御和语义引导的真实场景图像去雾方法,其特征在于:所述Step4中,所述源去雾网络的结构为标准的编-解码器组成的U-Net结构;使用训练后将参数固定的源去雾网络对合成域有雾图像进行处理,分别得到编码器输出的中间特征和源去雾网络输出的清晰图像;源去雾网络操作过程表示如下:;

;

其中,代表源去雾网络的由特征提取模块组成的编码器,UNet代表源去雾网络,代表合成域有雾图像,代表源去雾网络中编码器输出的中间特征,代表源去雾网络输出的清晰图像。

6.根据权利要求1所述的基于扰动防御和语义引导的真实场景图像去雾方法,其特征在于:所述Step5包括:将特征提取模块得到的特征输入到密集残差卷积、自注意力和多层感知机组成的语义解码器中得到语义特征;语义特征得到的过程定义为:;

;

;

;

;

其中,表示由特征提取模块得到的特征, 表示卷积操作,和表示密集残差卷积的中间特征,表示全连接层操作,表示层归一化操作, 为语义特征的查询向量,为语义特征的键向量,为语义特征的值向量,为转置操作,表示函数,表示通道拼接操作,表示多层感知机操作,表示语义特征。

7.根据权利要求1所述的基于扰动防御和语义引导的真实场景图像去雾方法,其特征在于:所述Step7包括:Step7.1、利用Adam优化器对扰动防御模块、源去雾网络、语义解码器、多尺度融合模块和去雾网络中的参数进行优化;

Step7.2、训练扰动防御模块时定义一个损失函数,该函数将Step4中的得到的特征与由特征提取模块得到的特征进行比较;

采用损失函数优化扰动防御模块,定义为:

;

其中, 表示源去雾网络中编码器输出的中间特征,表示由特征提取模块得到的特征,表示损失函数;

Step7.3、训练源去雾网络时定义一个损失函数,该函数将Step4中的源去雾网络输出的清晰图像与标准清晰图像进行比较;

采用损失函数优化源去雾网络,定义为:

;

其中, 表示源去雾网络输出的清晰图像,表示合成域有雾图像对应的标准清晰图像,表示损失函数;

Step7.4、训练语义解码器时定义一个损失函数,该函数将Step5中的得到的语义特征与语义分割标签进行比较;

采用交叉熵损失函数优化语义解码器,定义为:

;

其中, 表示语义解码器得到的语义特征,表示将合成域有雾图像输入到SAM模型输出的语义分割结果,在去雾网络中将作为合成域有雾图像对应的语义分割标签,c表示像素的所属类别,表示交叉熵损失函数;

Step7.5、训练去雾网络和多尺度融合模块时定义一个损失函数,该函数将Step6中的得到的融合后的特征与标准清晰图像进行比较;

采用损失函数优化去雾网络和多尺度融合模块,定义为:

;

其中, 表示融合后的特征,表示合成域有雾图像对应的标准清晰图像,表示损失函数。

8.基于扰动防御和语义引导的真实场景图像去雾系统,其特征在于,所述系统包括:用于执行如权利要求1至7任一权利要求所述的基于扰动防御和语义引导的真实场景图像去雾方法的模块。

9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述基于扰动防御和语义引导的真实场景图像去雾方法。