欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021108057703
申请人: 西安理工大学
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2024-04-30
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种Swin Transformer微光图像增强方法,其特征在于,按照以下步骤具体实施:步骤1、构建预处理模块,该预处理模块的输入为原始微光图像,大小为H*W*3;该预处理模块的输出是大小为H/4*W/4*96的特征图;

步骤2、构建Swin Transformer模块,该Swin Transformer模块的输入数据是步骤1的输出特征,大小为H/4*W/4*96;该Swin Transformer模块的输出是提取后的图像特征,大小为H/4*W/4*96;

步骤3、构建恢复模块,该恢复模块的输入数据是步骤2的输出特征,大小为H/4*W/4*

96;该恢复模块的输出是增强后高质量无噪声的彩色图像,大小为H*W*3。

2.根据权利要求1所述的Swin Transformer微光图像增强方法,其特征在于:所述的步骤1中,预处理模块的结构依次为:原始微光图像作为输入图像→Patch Partition层→Linear Embedding层→输出特征(Output_feature),其中,Patch Partition层为卷积运算,卷积核大小为4*4,卷积步长为4,特征映射总数为48个;Linear Embedding层为线性运算进行特征映射,卷积核大小为H/4*W/4,特征映射总数为96个。

3.根据权利要求1所述的Swin Transformer微光图像增强方法,其特征在于:所述的步骤2中,Swin Transformer模块的结构依次为:步骤1的输出特征作为输入特征→LN正则化层→W‑MSA子模块或者SW‑MSA子模块→残差连接层→LN正则化层→前馈网络→残差连接层→输出特征;该Swin Transformer模型共循环6次,奇数层与偶数层依次间隔连接,其中三个奇数层采用的是W‑MSA子模块,三个偶数层采用的是SW‑MSA子模块。

4.根据权利要求3所述的Swin Transformer微光图像增强方法,其特征在于:所述的LN正则化层是进行LN正则化处理,对输入数据进行归一化处理,将其归到0到1之间;

残差连接层是进行残差连接,解决梯度消失和权重矩阵退化问题;

前馈网络由两层前馈神经网络组成,第一层前馈网络先把输入向量从dmodel维度映射到

4*dmodel维度,激活函数为ReLU函数,第二层前馈网络再从4*dmodel维度映射回dmodel维度,不使用激活函数,前馈网络的表达式如下式(1):FFN(x)=max(0,xW1+b1)W2+b2            (1)W‑MSA子模块首先对输入特征进行窗口划分,在每个划分的小窗口上进行多头自注意力计算;W‑MSA子模块将输入特征映射到不同的子空间中,再分别在所有子空间上做点乘运算计算注意力向量,最后把所有子空间计算得到的注意力向量拼接起来,并映射到原输入空间中得到最终的注意力向量作为输出,W‑MSA子模块的表达式如下式(2):0

MultiHead(Q,K,V)=Concat(head1,...,headh)WQ K V

headi=Attention(QWi ,KWi ,VWi)            (2)Q

其中,Q,K,V分别为W‑MSA子模块的输入,即查询向量、键向量、值向量,Wi为不同子空间K V

中Q的映射矩阵,Wi为不同子空间中K的映射矩阵,Wi为不同子空间中V的映射矩阵,在一个单独子空间上的注意力向量的计算方式依次为:先将查询向量Q和键向量K点乘,再除以键向量K的维度的平方根 得到查询向量Q的分数矩阵,最后通过softmax函数将分数矩阵归一化得到权重矩阵,再乘以值向量V即得到一个子空间的注意力向量,表达式如下式(3):W‑MSA子模块通过将输入特征映射到不同的子空间再计算注意力向量来捕获特征在不同子空间上的依赖关系,最终得到的注意力向量能更立体更全面的捕获特征之间的依赖关系;

SW‑MSA子模块的是在图像特征输入SW‑MSA子模块之前,将图像特征进行尺寸为半个窗口大小的像素位移操作,然后再进行W‑MSA子模块操作,具体操作流程如下:将步骤1的输出特征各循环上移和循环左移半个窗口的大小,在移位的基础上再按照W‑MSA子模块切分窗口,就会得到和W‑MSA不同的窗口内容;然后运行W‑MSA子模块,在运行结束后将得到的图像特征再各循环下移和循环右移半个窗口的大小,复原回原来的位置。

5.根据权利要求1所述的其特征在于:所述的步骤3中,恢复模块作用是将Swin Transformer模块提取得到的图像特征恢复至原始输入的微光图像尺寸,输出增强后高质量无噪声的彩色图像,恢复模块的结构依次为:步骤2的输出特征作为输入→Patch Expanding层→Linear层→输出图像;

其中,Patch Expanding层为Rearrange operation运算,将输入特征的分辨率扩大到输入分辨率的4倍,将特征维数降低到输入维数的1/16;Linear层为线性运算进行特征映射,卷积核大小为H*W,特征映射总数为3个,在训练基于Swin Transformer的微光图像增强网络时,考虑到L1损失函数在目标轮廓的对比度、均匀区域的平滑效果方面表现较好,同时SSIM损失函数引入结构约束能够很好地恢复图像的结构和局部细节,感知损失函数能够约束真实图像和预测图像之间的差异,保持图像感知和细节的保真度,本步骤中,将L1+SSIM损失函数+感知损失函数组合在一起作为基于Swin Transformer的微光图像增强网络的总损失函数,表示为:Ltotal=(1‑λs‑λp)L1+λsLssim+λpLperc式中,L1表示像素级别的L1范数损失,Lssim表示结构相似性损失,Lperc表示感知损失,λs、λp是相对应的系数,取值区间为[0,1],优选λs=0.2、λp=0.1。

其中,L1范数损失公式为 Igt代表真实图像,Ih代表预‑6

测图像,l代表非零常数,取10 ;

SSIM结构相似性损失公式为 μx、μy分别代表图像x、y的像素平均值;σxy代表图像x、y乘积的标准差; 分别代表图像x、y的方差;N代表图像样本总数,C1、C2为常量;

感知损失函数公式为 Igt代表真实图像,Ih代表预测图像,Cj代表通道,Hj和Wj分别代表第j特征图的高度和宽度, 代表在预先训练的VGG16模型中第j卷积层获得的特征图。