欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022111409098
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-04-06
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于Transformer和图像融合的弱光增强方法,其特征在于,具体按照如下步骤实施:步骤1,设计预处理DoubleGamma模块,DoubleGamma模块由Gamma′变换和Gamma″变换组成,Gamma′变换是对输入的红外图像进行处理,Gamma″变换是对输入的可见光图像进行处理,得到的红外图像I′Inf和可见光图像I′Vis;

步骤2,设计基于Transformer架构的TFE,通过对步骤1中I′Inf和I′Vis中的局部和全局相关性进行建模,来提取输入图像的深层特征;

步骤3,设计由Fusionblock和Enhanceblock组成的FE;使用Fusionblock将红外图像特征序列 和可见光图像的特征序列 融合在一起,其中,l=1…L,然后使用Enhanceblock对融合结果进行特征增强;

步骤4,设计FR,根据融合特征Zfeats重建融合结果IF;

步骤5,设计包括LSSIM、LTV和LEXP的损失函数,根据Loss更新网络参数,使得网络逐渐收敛,最终得到一个输出最优融合图像的网络;

步骤6,对于基于Transformer和图像融合的弱光增强算法搭建的神经网络进行训练

100个Epoch,验证训练结果,保存神经网络的模型;

步骤7,测试步骤6保存的神经网络的模型,输出融合图像。

2.根据权利要求1所述的基于Transformer和图像融合的弱光增强方法,其特征在于,步骤1具体为:首先将弱光场景下的红外图像IInf和可见光图像IVis转换为灰度图作为输入图像,然后对转换后的灰度图分别使用DoubleGamma变换,将红外图像IInf使用DoubleGamma中的Gamma′变换,得到I′Inf,可见光图像IVis使用DoubleGamma中的Gamma″变换得到I′Vis;

Gamma′和Gamma″的公式如下:

γ

I′=I       (1);

其中I是输入图像,包括IInf和IVis,I′是经过Gamma′和Gamma″变换增强后的图像,包括I′Inf和I′Vis,γ是像素值的缩放力度;DoubleGamma变换可以根据γ的不同取值选择性地增强低灰度区域的对比度或是高灰度区域的对比度;Gamma′变换的像素值的缩放系数取值为

0.8,Gamma″变换的像素值的缩放系数取值为0.5。

3.根据权利要求2所述的基于Transformer和图像融合的弱光增强方法,其特征在于,所述步骤2具体为:步骤2.1,将DoubleGamma变换后的红外图像I′Inf和可见光图像I′Vis送入嵌入线性投影,得到红外特征序列ZInf和可见光特征序列ZVis;

步骤2.2,将特征序列ZInf和ZVis依次通过L个Transformer层,每层的输出表示为 和Transformer层的结构由一个多头注意力机制MSA块和一个多层感知机MLP块组成;MSA如公式(2)所示:O

MultiHead(Q,K,V)=Concat(head1,…,headh)W   (2);

其中, dmodel

表示序列编码长度,Q,K,V分别表示矩阵形式的query,key和value,dk表示向量key的维度。

4.根据权利要求3所述的基于Transformer和图像融合的弱光增强方法,其特征在于,所述步骤3具体为:步骤3.1,Fusionblock模块特征融合的具体为:将步骤2得到的 和 分别进行三层小波包分解,得到各层分解系数C和各层分解系数长度S,C1和C2分别是 和 的各层分解系数,S1和S1分别是 和 的各层分解系数长度;

提取出 和 小波分解的近似分量A1和A2,将A1和A2相加然后取平均值得到A;

提取 和 小波分解的各层细节分量H1、V1、D1和H2、V2、D2;

对各层细节分量H1和H2、V1和V2、D1和D2分别采用基于区域能量的融合规则,得到H、V、D,基于区域能量的融合规则具体流程为:首先计算两幅图像的匹配度,若匹配度大于阈值,采用加权平均的融合方法,反之,若匹配度小于阈值,选取局部能量较大的小波系数作为融合图像的小波系数;

使用A、H、V、D进行小波重构得到融合特征;

步骤3.2:Enhanceblock将融合特征送入两个顺序连接的卷积块Convblock中,得到Zfeats。

5.根据权利要求4所述的基于Transformer和图像融合的弱光增强方法,其特征在于,步骤4具体为:步骤4.1:将融合结果Zfeats依次通过五个卷积层,得到融合结果IF,其中,融合结果的通道数取1,即灰度图,图像的宽度和高度相同,融合结果表示为如下公式(5):IF=(C,W,H)   (5);

其中,C表示图像的通道数,通道数取1,即灰度图,W表示图像的宽度,H为图像的高度,图像的宽度和高度相同。

6.根据权利要求5所述的基于Transformer和图像融合的弱光增强方法,其特征在于,所述步骤5具体为:总的损失函数表示为如下公式(6):

Loss=λLSSIM+LTV+LEXP   (6);

设置一个超参数来λ影响它们的权重;

步骤5.1:首先计算经过DoubleGamma预处理后的可见光图像和红外图像的平均像素值E(I′Vis|W)和E(I′Inf|W),如果E(I′Vis|W)>E(I′Inf|W),那么计算SSIMM(I′Vis,IF|W)的值,否则,计算SSIMM(I′Inf,IF|W),将计算结果作为Score(I′Vis,I′Inf,IF|W)的值,然后计算LSSIM;

其中用于红外和可见光图像融合的SSIMM损失函数的公式如下:其中σ表示标准差,X表示DoubleGamma变换后的I′Inf和I′Vis,Y表示融合后的图像IF,σXY表示X和Y之间的互相关,W表示滑动窗口,按照从左到右从上到下的顺序逐元素移动,C为常数,使用E(I|W)计算滑动窗口中像素的平均值来测量SSIMM的分数,E(I|W)的公式如下:其中,Pi是像素i的值;SSIMM分数的计算公式如下:

LSSIM的计算公式如下:

其中N表示单个图像中滑动窗口的总数;

步骤5.2,计算LTV,输入可见光图像I′Vis和融合结果IF,首先计算经过DoubleGamma预处理的可见光图像和融合图像之间的差异R(i,j),然后计算LTV;

LTV的计算公式如下:

R(i,j)=I′Vis(i,j)‑IF(i,j)   (11);

其中R(i,j)表示可见光和融合图像之间的差异,LTV表示总变化损失函数,||||2表示l2距离;

步骤5.3,计算LEXP,设计曝光控制损失函数LEXP来控制曝光水平;曝光控制损失测量局部区域的平均强度值与良好曝光水平E之间的距离;将E设置为0.6;LEXP可以表示为:其中M表示大小为16×16的非重叠局部区域的数量,Ik是增强图像中局部区域的平均强度值;

步骤5.4,将LSSIM、LTV和LEXP相加得到Loss,并根据Loss更新网络参数,使得网络逐渐收敛。

7.根据权利要求6所述的基于Transformer和图像融合的弱光增强方法,其特征在于,所述步骤6具体为:步骤6.1,选择网络的优化器为ADAM优化器,并设置初始学习率为0.01,调度器策略为多步长衰减策略,衰减步数分别为25和100,每次衰减一半,总共训练100个Epoch,通过观察LSSIM、LTV和LEXP三个指标动态调整超参数:学习率lr、和训练轮数Epoch;

步骤6.2,通过Python第三方库tensorboard的SummaryWriter将训练过程LSSIM、LTV和LEXP参考指标输出到tensorboard中,并在验证集测试结果,之后进行模型的保存,将步骤

6.1训练的神经网络参数、正在训练的轮数Epoch、优化器ADAM和调度器进行保存,得到训练好的网络模型。

8.根据权利要求7所述的基于Transformer和图像融合的弱光增强方法,其特征在于,所述步骤7具体为:加载步骤6训练好的网络模型,将测试集输入到训练好的网络模型中,之后对测试的结果进行保存,得到融合图像。