1.一种基于Transformer与卷积交互的轻量级图像超分辨率方法,其特征在于:包括以下步骤:S1,构建跨通道Transformer模块与高效局部特征提取模块;
S2,构建反转U型网络模块;
S3,构建全局特征提炼模块;
S4,将反转U型网络模块与全局特征提炼模块组合起来,构建基于Transformer与卷积交互的轻量级超分辨率网络;以待重建的低分辨率图像作为网络的输入,网络的输出作为对应的重建图像;
所述S1中的跨通道Transformer模块包括跨通道自注意力模块和全局信息流控制模块;
所述跨通道自注意力模块包括四个1×1分组卷积和三个3×3分组卷积,其中的运算为:Q,K,V=Reshape↓(f3×3(f1×1(Norm(F1in))))其中,F1in、F1out分别代表跨通道自注意力模块的输入与输出,Q,K,V分别代表查询域、键域和值域,f1×1(·)和f3×3(·)分别代表卷积核为1×1和3×3的分组卷积,Norm(·)代表层归一化操作,Reshape↓(·)和Reshape↑(·)分别代表将2维特征图折叠为1维向量和将1T维向量展开为2维特征图,α代表一个可学习缩放参数,用于在Softmax函数之前调整Q,K的点积大小;
所述全局信息流控制模块包括三个1×1分组卷积、两个3×3分组卷积和一个通道注意力模块,其中的运算为:F2out=f1×1(CA(f3×3(f1×1(Norm(F2in))))*Gelu(f3×3(f1×1(Norm(F2in)))))+F2in其中,F2in、F2out分别代表全局信息流控制模块的输入与输出,f1×1(·)和f3×3(·)分别代表卷积核为1×1和3×3的分组卷积,Norm(·)代表层归一化操作,CA(·)代表通道注意力模块,Gelu(·)代表GELU激活函数;
所述S1中的高效局部特征提取模块包括两个1×1卷积、三个3×3卷积、通道注意力模块和空间注意模块,其中的运算为:F1=f1×1(F3in)
F2=f3×3(F1)
F3=Contact(f3×3(F1),F1,F2)
F4=Contact(F1,F2,f3×3(F3))
F3out=f1×1(CA(F4)+SA(F4))+F3in
其中,F3in、F3out分别代表高效局部特征提取模块的输入与输出,F1、F2、F3、F4分别代表第一次1×1卷积的输出、第一次3×3卷积的输出、第一次Contact操作的输出和第二次Contact操作的输出,f1×1(·)和f3×3(·)分别代表卷积核为1×1和3×3的卷积,Contact(·)代表Contact操作,CA(·)和SA(·)分别代表通道注意力模块与空间注意力模块;
所述S2的反转U型网络模块包含全局与局部特征提取模块,所述全局与局部特征提取模块包括两个高效局部特征提取模块和三个跨通道Transformer模块;
所述S2中的反转U型网络模块,包括初始编码的全局与局部特征提取模块、核心编解码器和末端解码的全局与局部特征提取模块,其中的运算为:FITCIB=fITCIB(Ffc),
FCore=fCore(*[Ffc,FCore]),
FETCIB=fETCIB(*[Ffc,FITCIB,FCore]),
FRU=*[Ffc,FITCIB,FCore,FETCIB],
其中,fITCIB(·)、fCore(·)和fETCIB(·)分别代表初始编码的全局与局部特征提取模块、核心编解码器、末端解码的全局与局部特征提取模块,而FITCIB、FCore、FETCIB和FRU分别代表初始编码的全局与局部特征提取模块、核心编解码器和末端解码的全局与局部特征提取模块以及反转U型网络模块的输出,Ffc为反转U型网络模块的输入特征;*[·]代表Contact操作和一个卷积核大小为1×1的卷积层,分别用于在通道上聚合特征信息与调节通道数量;
所述S3的全局特征提炼模块包括两个循环Transformer模块、两个1×1卷积、两个3×3卷积、一个通道注意力模块和一个跨通道自注意力模块,其中的运算为:CGB(·)=CA(LCT(·))
其中,FRU,FRT,FRefine分别代表全局特征提炼模块的输入、第1个循环Transformer模块的输出和全局特征提炼模块的输出, 分别代表循环k次的第1个循环Transformer模块和第2个循环Transformer模块,CGB(·),CA(·),LCT(·)分别表示通道全局信息优化模块、通道注意力模块和跨通道自注意力模块,*[·]代表Contact操作和一个1×1的卷积层;在循环Transformer模块中,输入会依次通过多头自注意力模块和多层感知机模块。
2.根据权利要求1所述的一种基于Transformer与卷积交互的轻量级图像超分辨率方法,其特征在于,所述反转U型网络模块中的核心编解码器先在编码器阶段使用亚像素卷积,将通道维度中的关键信息转移至特征图维度上,再在解码器阶段将特征图维度上的信息返回至通道维度中;在核心编解码器中,从编码阶段的全局与局部特征提取模块收到形状为H×W×C的特征图开始,每个阶段的编码器都将特征图大小扩大为原来的2倍,并减少通道数量至原本的一半,底层的编码器将输出形状为 的特征图,并将其输入底层解码器;底层解码器会逐阶段的恢复特征图的形状至H×W×C,以保持输出的特征图与输入形状一致,其中H、W和C分别为特征图的高、宽和深度。
3.如权利要求1所述的一种基于Transformer与卷积交互的轻量级图像超分辨率方法,其特征在于,所述的S4中,将48*48*3维度的低分辨率图像作为输入,得到的输出是一幅(48*scale)*(48*scale)*3维度的高分辨率输出,其中,scale为需求的放大倍数。