欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025110538998
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于文本引导和扰动防御的真实场景图像去雾方法,其特征在于:所述方法包括:Step1、获取RGB三通道的有雾图像,并对有雾图像进行预处理;

Step2、构建扰动生成模块,将可学习扰动注入到预处理的有雾图像中,扰动生成模块使用随机初始化的一组可学习向量,可学习向量模拟真实场景中存在的各种因素,并通过梯度反转进行更新;

Step3、构建预训练的去雾网络,将预处理有雾图像输入到预训练的去雾网络中产生原始特征用于指导去雾网络,在扰动生成模块中去雾网络用于更新扰动;

Step4、构建文本嵌入模块,将通过语言大模型生成的文本特征和扰动图像输入到文本嵌入模块,将文本信息嵌入到图像特征中,在前向传播过程中,通过文本特征对图像特征进行任务引导;

所述Step4包括:

首先,将语言大模型输入的文本特征和扰动生成模块生成的扰动图像输入到文本嵌入模块中,扰动图像通过卷积得到;文本特征经过线性层得到;通过全局平均池化后和通过通道拼接、线性层和调整形状操作得到;最后将和通过相乘、激活函数和层归一化操作,最后再与相加得到文本嵌入特征;

Step5、构建去雾网络,将嵌入文本特征的图像特征输入到去雾网络;去雾网络通过前向传播过程进行特征提取;同时,通过防御模块和调制融合模块,将特征中含有的扰动信息进行防御和将防御后的特征和预训练的去雾网络中的原始特征进行融合;去雾网络经过最后一个特征提取模块和卷积操作得到去雾后的图像;

所述Step5中,所述去雾网络包括防御模块,防御模块包括全局防御分支和局部防御分支;防御模块具体操作步骤如下:将去雾网络的特征提取模块提取的特征分别输入到全局防御分支和局部防御分支;

对于全局角度防御分支,通过多头自注意力得到,接着通过卷积、激活函数、卷积和Softmax得到一组权重后再与相乘得到全局角度过滤后的特征;

对于局部防御分支,通过卷积得到,接着通过全局平均池化、卷积、层归一化和Sotmax得到一组权重后再与相乘得到局部角度过滤后的特征;

将局部角度过滤后的特征和全局角度过滤后的特征通过通道拼接、卷积得到拼接的特征后,依次通过激活函数和卷积后再与特征相加得到防御后的特征;

Step6、训练扰动生成模块、预训练的去雾网络、文本嵌入模块和去雾网络。

2.根据权利要求1所述的基于文本引导和扰动防御的真实场景图像去雾方法,其特征在于:所述Step1中,所述RGB三通道的有雾图像随机裁剪至大小,然后在输入扰动生成模块、预训练的去雾网络之前对其进行归一化操作;此外,采用随机裁剪、水平翻转、对比度增强数据增强方法来增加数据样本的多样性。

3.根据权利要求1所述的基于文本引导和扰动防御的真实场景图像去雾方法,其特征在于:所述Step2包括:随机初始化一组可学习的向量,同时将经过预处理的有雾图像通过卷积、激活函数、卷积得到浅层特征;然后将浅层特征和可学习的向量相加,接着进行卷积操作得到扰动图像;最后,将扰动图像输入到预训练的去雾网络中通过梯度反转更新扰动图像;扰动生成模块具体操作的过程定义为:;

;

其中,表示预处理的有雾图像,表示卷积操作,表示激活函数,表示浅层特征,表示随机初始化的一组可学习的向量,表示扰动图像。

4.根据权利要求1所述的基于文本引导和扰动防御的真实场景图像去雾方法,其特征在于:所述Step3包括:将预处理后的有雾图像输入到预训练的去雾网络中,预训练的去雾网络是由特征提取模块组成的U-Net结构,通过特征提取模块得到不同尺度的原始特征和整个预训练的去雾网络输出的清晰图像;预训练的去雾网络训练后参数固定,输出的原始特征用于通过调制融合模块指导去雾网络,预训练的去雾网络的操作过程定义为:;

;

其中,代表预训练的去雾网络中特征提取模块,UNet代表整个预训练的去雾网络,代表预处理的有雾图像,代表原始特征,代表经预训练的去雾网络输出的清晰图像。

5.根据权利要求1所述的基于文本引导和扰动防御的真实场景图像去雾方法,其特征在于:所述Step4包括:首先,将语言大模型输入的文本特征和扰动生成模块生成的扰动图像输入到文本嵌入模块中,扰动图像通过卷积得到;文本特征经过线性层得到;通过全局平均池化后和通过通道拼接、线性层和调整形状操作得到;最后将和通过相乘、激活函数和层归一化操作,最后再与相加得到文本嵌入特征,对于文本嵌入模块具体操作过程定义为:;

;

;

;

其中,表示扰动图像经过卷积后提取的浅层特征,表示卷积操作,表示文本信息经过语言大模型输出的文本特征, 表示线性层,表示全局平均池化,表示通道拼接操作,表示调整形状操作,表示激活函数,表示调整形状后的文本特征,表示像素点乘操作,表示层归一化操作, 表示文本嵌入特征。

6.根据权利要求1所述的基于文本引导和扰动防御的真实场景图像去雾方法,其特征在于:所述Step5中,所述去雾网络包括防御模块,防御模块包括全局防御分支和局部防御分支;防御模块具体操作步骤如下:将去雾网络的特征提取模块提取的特征分别输入到全局防御分支和局部防御分支;

对于全局角度防御分支,通过多头自注意力得到,接着通过卷积、激活函数、卷积和Softmax得到一组权重后再与相乘得到全局角度过滤后的特征;

对于局部防御分支,通过卷积得到,接着通过全局平均池化、卷积、层归一化和Sotmax得到一组权重后再与相乘得到局部角度过滤后的特征;

将局部角度过滤后的特征和全局角度过滤后的特征通过通道拼接、卷积得到拼接的特征后,依次通过激活函数和卷积后再与特征相加得到防御后的特征;防御模块操作过程定义为:;

;

;

;

;

;

;

;

其中,表示特征提取模块提取的浅层特征,表示多头自注意力操作, 表示通过多头自注意力得到特征,表示卷积操作,表示激活函数,表示Softmax操作,表示全局权重,表示像素点乘操作,表示全局角度过滤后的特征,表示全局平均池化操作,表示层归一化操作,表示局部权重,表示局部角度过滤后的特征,表示通道拼接操作,表示防御后的特征。

7.根据权利要求1所述的基于文本引导和扰动防御的真实场景图像去雾方法,其特征在于:所述Step5中,去雾网络还包括特征提取模块和调制融合模块,其中特征提取模块与预训练的去雾网络中的特征提取模块的结构和权重是共享的,调制融合模块通过将预训练的去雾网络输出的原始特征对防御模块输出的防御特征进行特征调制,并将调制后的特征与调制融合模块输入的特征进行加权融合;

所述去雾网络经过最后一个特征提取模块和卷积操作得到去雾后的去雾图像,得到去雾图像的过程定义为:;

其中,表示最后一个特征提取模块的输出,表示卷积操作,表示去雾图像。

8.根据权利要求1所述的基于文本引导和扰动防御的真实场景图像去雾方法,其特征在于:所述Step5中,所述调制融合模块的操作过程包括:首先将原始特征通过激活函数和参数不共享的卷积操作得到和,通过和对防御后的特征进行特征调制得到调制后的特征,然后将调制后的特征和通过通道拼接、卷积、全局最大池化、多层感知机和Softmax操作得到融合权重,然后融合权重分别与和调制后的特征相乘,最后将两个加权后的特征相加得到融合特征,整个过程定义为:;

;

;

;

;

其中,表示原始特征,表示激活函数,表示卷积操作,表示像素点乘操作,和分别表示原始特征经过参数不共享激活函数和卷积操作的输出,表示防御模块输出的防御后的特征,表示经原始特征调制后的特征,表示通道拼接操作,表示全局最大池化操作,表示多层感知机,表示Softmax操作,表示融合权重,表示融合特征。

9.根据权利要求1所述的基于文本引导和扰动防御的真实场景图像去雾方法,其特征在于:所述Step6包括:Step6.1、利用AdamW优化器对扰动生成模块、预训练的去雾网络、文本嵌入模块和去雾网络中的参数进行优化;

Step6.2、训练扰动生成模块时定义一个损失函数,该函数将Step2得到的扰动图像输入到Step3中的预训练的去雾网络得到的清晰图像与标准清晰图像进行比较;

采用损失函数优化扰动生成模块,定义为:

;

其中, 表示扰动图像输入到预训练去雾网络输出的清晰图像,表示有雾图像对应的标准清晰图像,表示损失函数;

Step6.3、训练预训练的去雾网络时定义一个损失函数,该函数将Step3中有雾图像经预训练的去雾网络输出的清晰图像与标准清晰图像进行比较;

采用损失函数优化预训练的去雾网络,定义为:

;

其中,表示有雾图像对应的标准清晰图像;代表有雾图像经预训练的去雾网络输出的清晰图像,表示损失函数;

Step6.4、训练去雾网络时定义一个损失函数,该函数将Step5中的得到的去雾图像与标准清晰图像进行比较;

采用损失函数优化去雾网络,定义为:

;

其中,表示有雾图像对应的标准清晰图像;表示扰动图像经去雾网络输出的去雾图像,表示损失函数。

10.基于文本引导和扰动防御的真实场景图像去雾系统,其特征在于,所述系统包括:用于执行如权利要求1至9任一项所述的基于文本引导和扰动防御的真实场景图像去雾方法的模块。