欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 202310076270X
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2025-05-13
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于融合Transformer的卷积神经网络的图像去雾方法,其特征在于,该方法具体包括以下步骤:S1:获取合成雾天数据集RESIDE作为训练数据集,并对数据集进行预处理;

S2:构建去雾网络模型:基于U‑Net的网络结构和残差模块,利用卷积模块和Transformer模块构建一个端到端的去雾网络模型;

S3:将预处理后的数据集输入到构建好的去雾网络模型中,在训练过程中通过损失函数计算损失,不断迭代更新模型参数,最终得到训练好的去雾网络模型,进行图像去雾。

2.根据权利要求1所述的基于融合Transformer的卷积神经网络的图像去雾方法,其特征在于,步骤S1具体包括以下步骤:C×H×W

S11:获取训练数据集,包括一对有雾图像和清晰图像,记为(I,J),其中I,J∈R ,I表示有雾图像,J表示清晰图像,C表示图像的通道数,H和W分别表示图像的高度和宽度;

S12:对图像进行随机裁剪,得到的图像为(Icrop,Jcrop),Icrop表示裁剪后的有雾图像,C×h×wJcrop表示裁剪后的清晰图像,Icrop,Jcrop∈R ,h和w分别表示裁剪后图像的高度和宽度;

S13:对步骤S12得到的图像进行随机翻转,以增强数据集;并将其转化为张量形式,以此作为去雾网络模型的输入。

3.根据权利要求1所述的基于融合Transformer的卷积神经网络的图像去雾方法,其特征在于,步骤S2中,去雾网络模型的架构包括:编码器、解码器和特征融合模块;基于U‑Net的网络结构,利用残差结构构建一个端到端的去雾网络,编码器由若干去雾模块组成,每一个去雾模块由Transformer和卷积神经网络组成,卷积神经网络提取低频信息,Transformer提取高频信息;解码器由反卷积模块组成,完成无雾图像的重构。

4.根据权利要求3所述的基于融合Transformer的卷积神经网络的图像去雾方法,其特征在于,步骤S2中,构建去雾网络模型,具体包括以下步骤:S21:编码器包含3个去雾模块和2个patch‑merging模块,每个去雾模块由前半部分的若干卷积子模块和后半部分若干的Transformer子模块组成,每个去雾模块中卷积模块和Transformer模块的比例逐层变小,即在网络的浅层,由卷积模块提取图像的细节信息,而随着网络层数的加深,改为由Transformer模块提取图像的全局信息;

S22:patch‑merging模块的作用是首先将输入到patch partition模块中进行分块,即将每4×4相邻的像素作为一个patch,然后在channel方向展平,则特征图的高宽缩减为原先的一半,而通道数变为原先的4倍,之后再通过一个全连接层,将通道数映射为原先的通道数的2倍,实现特征图的下采样操作;

S23:去雾模块由8个去雾子模块构成,每个去雾子模块为卷积神经网络模块或Transformer模块;

S24:解码器由反卷积模块和去雾模块中的卷积模块组成,反卷积模块由一个卷积层和PixelShuffle上采样层构成,作用是使得feature map的宽高翻倍,通道数减半;

S25:特征融合模块采用SKNet和残差连接网络;SKNet通过对不同分支上加入注意力机制,让网络学习不同分支的重要程度,让特征融合模块能够更加有效的融合残差特征。

5.根据权利要求4所述的基于融合Transformer的卷积神经网络的图像去雾方法,其特征在于,步骤S23中,每个去雾子模块为卷积神经网络模块或Transformer模块;

(1)卷积神经网络模块中除了普通卷积外,还包括SENet和PixNet,SENet是为了使网络能够学习到不同channel特征的重要程度,而PixNet是为了使网络学习到不同空间点上特征的重要程度;

(2)Transformer模块采用的是窗口自注意力的方式来计算自注意力;在使用窗口自注意力时,首先将feature map按照7×7大小划分为一个个的窗口,然后单独对每个窗口内部进行Self‑Attention;同时为了使得不同窗口之间能够进行信息的交互,在一个正常的Windows Multi‑head Self‑Attention后面跟着一个Shifted Windows Multi‑Head Self‑Attention;其计算公式为:b

其中,Q代表Query,K代表key,V代表提取得到的信息,B是相对位置偏置;Q,K,V∈R×l×d,b是Batch Size,d是输入维度,l是划分的窗口数量;

自注意力机制先将Query和Key进行点积操作,再使用SoftMax函数提取注意力比率后与Value相乘,得到具体的特征图。

6.根据权利要求4所述的基于融合Transformer的卷积神经网络的图像去雾方法,其特征在于,步骤S25中,有效融合残差特征的具体操作流程是:通过将上采样输出的特征图和由编码阶段残差连接传递过来的特征图一起输入到特征融合模块,使得网络在复原雾图图像时,不会丢失浅层特征;其公式为:[r1,r2]=SoftMax(Ffc(Averpool(layeri+x)))y=r1×layeri+r2×x+b

其中,x为上一层的输出特征图,layeri为残差连接的特征图,Averpool为全局平均池化函数,Ffc是线性映射层,y为最终输出,r1和r2为特征融合模块计算出的特征图x和layeri的权重信息,b为偏置值。

7.根据权利要求4所述的基于融合Transformer的卷积神经网络的图像去雾方法,其特征在于,步骤S2中,为了确保恢复的图像更加准确,在网络的最后引入了一个由大气散射模型的变型得来的软约束函数;其公式为:J(x)=K(x)I(x)‑K(x)+b,

其中,x表示图像中的像素,K(x)表示前一层的输出特征图,I(x)为输入的有雾图像,J(x)表示恢复的无雾图像,t(x)表示透射率。

8.根据权利要求1所述的基于融合Transformer的卷积神经网络的图像去雾方法,其特征在于,步骤S3中,所述损失函数由L1损失和感知损失两个部分组成,其中L1损失是取预测值和真实值的绝对误差的平均数,计算公式为:其中,N表示图像的像素数量,x表示已去雾图像的一点处像素值,y表示清晰图像的一点处像素值;

感知损失即利用其他预训练的特征提取网络,提取输出图片和目标图片的特征,使其尽可能的相似,感知损失的公式为:其中, 和Θj(J)分别代表VGG16网络对于输入的有雾图像和真实的无雾图像的特征图,CjHjWj表示特征提取网络输出的通道数之积;

采用ImageNet上训练的VGG16作为特征提取网络,使用其3,5,7层特征来生成感知损失;

最终的损失函数为:L=L1+0.05Lperc。