欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023111077665
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-04-06
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.高频纹理重建的弱光图像增强方法,其特征在于,具体按照以下步骤实施:步骤1、设计一个图像频率分解模块IFD,通过对输入的低照度图像X进行频率分解,分解图像的高频信息YH和低频信息YL两部分,分别对这两部分频率信息进行增强处理操作;

步骤2、设计基于Unet网络的信噪比感知模块SNRP ,信噪比感知模块将对输入的低频图像信息进行处理,得到去噪后的图像低频信息Yd和生成低频图像的信噪比映射图M;

步骤3、设计基于CNN和Transformer的信噪比引导的高频信息重建网络SGHFR,通过该网络得到输入图像高频信息的图像的局部特征Y1和全局特征Y2,深层次提取高频图像信息的特征;

步骤4、设计高频特征融合模块FCT,将图像的局部特征Y1和全局特征Y2有选择性的融合在一起,得到增强后的高频信息重建图像Y;

步骤5、设计融合频率模块Fusion,将最终高频信息重建图像Y和去噪后的图像低频信息Yd进行融合,得到最后的图像增强结果Youtput;

步骤6、基于CNN和Transformer的图像频率分解弱光增强方法搭建神经网络,进行训练1500个Epoch,验证训练结果,保存神经网络的模型;

步骤7、测试步骤6保存的神经网络的模型,加载步骤6训练好的网络模型,将测试集输入到训练好的网络模型中,之后对测试的结果进行保存,得到增强图像;

采用SGHFP集成CNN模块和Transformer模块,使网络同时关注图像高频信息的局部和全局信息,最终将网络输出特征融合为高频信息重建图像,通过动态调整损失函数的权重,避免手工赋值,以约束网络达到最优的融合结果,从弱光环境中的可见光图像出发得到最终增强图像,且增强图像具有更加丰富的细节信息和更加清晰的结构轮廓。

2.根据权利要求1所述的高频纹理重建的弱光图像增强方法,其特征在于,所述步骤1具体按照以下步骤实施:首先将弱光场景下的可见光图像即低照度图像X送入图像频率分解模块IFD,利用2组空洞卷积对输入的低照度图像X进行卷积操作,得到图像频率分解因子Ca,使用频率分解因子Ca和输入的低照度图像X进行相乘得到高频信息YH,将频率分解因子Ca取反和输入的低照度图像X进行相乘得到图像低频信息YL,Ca、YH和YL如公式(1)(2)(3)所示:Ca = (Fconv(X))(1)

(2)

(3)

其中Fconv代表两组空洞卷积的操作,是sigmoid函数,通过sigmoid函数将数据转换为0-1范围内的值,表示逐元素相乘。

3.根据权利要求2所述的高频纹理重建的弱光图像增强方法,其特征在于,所述步骤2具体按照以下步骤实施:步骤2.1、首先将经过IFD模块分解的图像低频信息YL送入SNRP模块,利用Unet网络得到去噪后的图像低频信息Yd,Yd如公式(4)所示:Yd= Fsnrp(YL)(4)

其中Fsnrp是由Unet组成的SNRP模块;

步骤2.2、将步骤2.1得到去噪后的图像低频信息Yd和输入的图像低频信息YL计算,生成低频图像的信噪比映射图M,M如公式(5)(6)所示:(5)

M = clamp(T /mean(T))(6)

其中abs表示绝对值操作,T是初步计算的低频信噪比映射图,mean表示求平均值操作,clamp() 表示 PyTorch 神经网络框架中的归一化函数,确保数值在 0 到 1 的范围内,M是最终的低频信噪比映射图。

4.根据权利要求3所述的高频纹理重建的弱光图像增强方法,其特征在于,所述步骤3具体按照以下步骤实施:步骤3.1、首先将经过IFD模块分解的图像高频信息YH送入SGHFR网络,利用CNN及Transformer获取图像的局部特征Y1和全局特征Y2;Transformer因为其自身分块原理,需先进行线性投影得到可见光特征序列;

步骤3.2、将特征序列依次通过1个Transformer层; Transformer层由一个MSA模块和一个MLP模块组成,MSA模块的具体步骤为:首先使用层归一化,即LN,处理特征序列,然后将处理后的特征送入MSA块,未进行LN操作的特征序列与MSA的输出进行残差连接,将残差连接得到的结果送入MLP模块, MLP模块首先使用LN处理特征序列,然后将处理后的特征送入MLP块,未进行LN操作的特征序列与MLP的输出进行残差连接,最终得到Transformer层的输出结果;

MSA如公式(1)(2)(3)所示:

(1);

(2);

(3);

其中,,,,,表示序列编码长度,Q,K,V分别表示矩阵形式的query,key和value,表示向量key的维度;

MSA模块分为以下三步:首先单独学习多个Q, K, V矩阵,因此也就对应着多个学习Q,K,V的权重矩阵、和,输入矩阵X与对应的权重矩阵相乘,得到对应的Q, K,V,然后,分别对每个注意力头单独计算自注意力,并得到对应输出,最后,将所有的拼接为一个整体,然后再乘以一个输出矩阵,最终得到图像的局部特征Y1和全局特征Y2。

5.根据权利要求4所述的高频纹理重建的弱光图像增强方法,其特征在于,所述步骤4具体按照以下步骤实施:高频特征融合模块FCT具体为将步骤3得到的图像的局部特征Y1和全局特征Y2通过门控单元ConvWEGT有选择性的进行特征的融合,实现局部特征和全局特征的交互;

ConvWEGT首先把CNN提取到的局部特征Y1和Transformer提取到的全局特征Y2作为ConvWEGT的两个输入,然后根据ConvWEGT中的控制更新的权重R,完成对特征的遗忘和记忆,有选择的提取特征,实现CNN和Transformer两者的信息交互,门控单元R如公式(10) 所示:R = (wconv(Fconcat(Y1,Y2,M)))(10);

是sigmoid函数,通过将数据转换为0-1范围内的值,以作为门控信号,Wconv()是一组卷积操作,Fconcat()表示 PyTorch 神经网络框架中的拼接函数,作用是将Y1,Y2,M三个图片拼接到一起;

获得融合权重R后,最后融合后的高频重建图像Y,Y的计算如公式(11)所示:(11);

公式(11)中,表示逐元素相乘。

6.根据权利要求5所述的高频纹理重建的弱光图像增强方法,其特征在于,所述步骤5具体按照以下步骤实施:融合频率模块Fusion将最终高频信息重建图像Y和去噪后的图像低频信息Yd进行融合,通过一个卷积层和一个激活函数层得到最后的图像增强结果Youtput,1个卷积层的Kernelsizes均为,激活函数均采用ReLU激活函数,第一个卷积层F1的输入通道数为6,输出通道数为3的卷积层,其中,融合结果的通道数取3,即彩色图,图像的宽度和高度相同融合结果表示为如下公式(12):Youtput= Fconv1(FRelu(Fconcat(Yd,Y)))(12)其中,Fconcat()表示 PyTorch 神经网络框架中的拼接函数,作用是将Yd,Y两个图片拼接到一起,FRelu()表示 PyTorch 神经网络框架中的RELU激活函数,Fconv1()表示 PyTorch 神经网络框架中的一个卷积层,输出的融合结果Youtput的通道数取3,即彩色图。

7.根据权利要求6所述的高频纹理重建的弱光图像增强方法,其特征在于,所述步骤6具体按照以下步骤实施:步骤6.1、损失函数包括三部分,分别是Ldec、Lre和Lrec,对损失函数进行优化,选取权重自适应的损失函数,k表示损失函数的个数,W是每个损失函数的权重,b是每个损失函数的偏置,权重自适应的损失函数表示为如下公式(13):(13);

步骤6.2、首先计算IFD模块的图像高低频分解的正确性,利用小波变化得到输入图像X的真实低频图像Yg,然后计算真实低频图像和IFD模块分解的低频图像信息YL的每个像素点差值,其中用于真实低频图像和IFD模块分解的低频图像信息YL的Ldec损失函数的公式如下:Ldec = (14);

其中 为 10−3 ,防止结果为0, 表示求取括号内的L2范数距离;

步骤6.3、首先计算SNRP模块中对图像低频信息去噪效果的计算,采用计算低频图像信息去噪Yd前后的梯度变化差异作为结果;

其中用于低频图像信息去噪的Ldre损失函数的公式如下:

(15);

其中和分别代表对去噪后的低频图像进行沿着x轴和y轴像素点梯度变化的计算;

步骤6.4、计算Lrec,输入最终融合图像Youtput 和输入低光照图像所对应正常光照下的真实图像Xg,计算最终的增强图像和真实图像之间的差异,Lrec计算公式如下:

Lrec= (16);

其中表示神经网络中利用VGG网络提取特征的操作, 表示L1范数距离;

步骤6.5、动态学习损失权重,将Ldec、Lre和Lrec通过自适应权重共享信息,相互补充,更新网络参数,使得网络逐渐收敛;

步骤6.6、选择显存为24GB的 GPU上训练,网络的优化器为ADAM优化器,并设置初始学习率为 0.0001,调度器策略为余弦退火学习率策略,调整的步数为1500,每次由神经网络自适应调整学习率,总共训练 1500个Epoch。

8.根据权利要求7所述的高频纹理重建的弱光图像增强方法,其特征在于,所述步骤7具体按照以下步骤实施:将步骤6训练的神经网络参数、正在训练的轮数 Epoch、优化器ADAM 和调度器进行保存,得到训练好的网络模型,在每轮训练结束后,测试该轮训练的网络模型,保存SSIM的值,第1000轮以前SSIM指标波动较大,但总体处于上升趋势,第1000轮之后,趋于稳定,最终达到0.89。