1.一种基于交叉注意力机制与Swin‑Transformer的图像超分辨率方法,其特征在于,包括以下步骤:获取待重建的低分辨率图像及其对应的梯度图;
构建基于交叉注意力机制与Swin‑Transformer的图像超分辨率模型并训练,得到经训练的图像超分辨率模型;
将所述待重建的低分辨率图像输入所述经训练的图像超分辨率模型,所述经训练的图像超分辨率模型包括SR分支和梯度分支,所述SR分支和梯度分支中分别采用浅层特征提取模块提取低分辨率图像及其对应的梯度图的浅层特征,通过全局深层特征提取模块将所述浅层特征进行融合,得到深层特征,将所述深层特征输入图像重建模块,重建得到高分辨率图像,所述浅层特征提取模块为一个3×3的卷积层,对应所述SR分支和梯度分支分别表示Cont Grad H×W×C为ECont(·)和EGrad(·),对应提取得到SR分支和梯度分支的浅层特征F ,F ∈R ,采用下式表示:Cont
F =ECont(ILR);
Grad
F =EGrad(GLR);
其中,C表示中间特征通道数,ILR表示低分辨图像,GLR表示该低分辨率图像所对应的梯度图,ILR, H、W和Cin分别表示输入的低分辨率图像的高度、宽度和通道数;
所述全局深层特征提取模块包括细节特征提取模块、梯度特征提取模块、交叉融合模块和双向融合策略,所述SR分支和梯度分支中分别串联有6个细节特征提取模块和6个梯度特征提取模块,所述交叉融合模块为6个,所述SR分支和梯度分支的浅层特征分别输入细节特征提取模块和梯度特征提取模块中,经过以下操作,得到所述SR分支和梯度分支的全局上下Cont Grad文特征T 和T :
Cont Cont H×W×C
T =TCont(F )∈R ;
Grad Grad H×W×C
T =TGrad(F )∈R ;
其中,TCont(·)和TGrad(·)分别为所述细节特征提取模块和梯度特征提取模块;
Cont Grad
将所述SR分支和梯度分支的全局上下文特征T 和T 输入所述交叉融合模块中,得到结合全局和局部信息的交叉融合特征Zk:Cont Grad
Zk=HCAFT(T ,T );
通过双向融合策略将交叉融合特征Zk作为所述SR分支和梯度分支的补偿,再经过全局残差连接,得到所述SR分支和梯度分支中下一个所述交叉融合模块的输入特征 和和 分别表示第k个残差Swin‑Transformer块和梯度Transformer的输出特征,k=1,2,…,p,经过全局残差连接之后的最后一个所述交叉融合模块的输入为 和经过最后一个所述交叉融合模块的输出得到所述深层特征Zp;
将所述深层特征Zp输入所述图像重建模块,得到重建图像ISR:其中,α表示放大因子,DRec(·)表示重建模块。
2.根据权利要求1所述的基于交叉注意力机制与Swin‑Transformer的图像超分辨率方法,其特征在于,所述细节特征提取模块为由n个残差Swin‑Transformer块构成的内容Transformer,所述梯度特征提取模块由梯度Transformer构成,所述交叉融合模块由交叉融合Transformer构成。
3.根据权利要求2所述的基于交叉注意力机制与Swin‑Transformer的图像超分辨率方法,其特征在于,所述残差Swin‑Transformer块包括依次连接的m个Swin Transformer层和一个3×3的卷积层,Fi‑1和Fi分别表示第i个残差Swin‑Transformer块的输入和输出,表示第j个的Swin Transformer层,Fi,j表示第j个的Swin Transformer层的输出,Fi,m表示最后一个Swin Transformer层的输出, 表示3×3的卷积层,每个残差Swin‑Transformer块的计算过程如下:每个Swin Transformer层的计算过程如下:X=MSA(LN(Xin))+Xin;
Xout=MLP(LN(X))+X;
其中,Xin和Xout分别表示Swin Transformer层的输入和输出,MSA、MLP、LN和X分别表示多头自注意力模块、多层感知器、层归一化和中间结果。
4.根据权利要求3所述的基于交叉注意力机制与Swin‑Transformer的图像超分辨率方法,其特征在于,通过下式获取低分辨率图像对应的梯度图:Ix(x)=I(x+1,y)‑I(x‑1,y);
Iy(x)=I(x,y+1)‑I(x,y‑1);
其中,x=(x,y)表示低分辨率图像的像素点的坐标,Ix(x)和Iy(x)分别表示水平和垂直方向相邻像素之间的差值, 表示梯度图;
所述梯度Transformer的计算过程如下:
其中,G(·)表示梯度函数,||*||2表示L2范数。
5.根据权利要求4所述的基于交叉注意力机制与Swin‑Transformer的图像超分辨率方法,其特征在于,所述交叉融合模块中,将所述残差Swin‑Transformer块和所述梯度Transformer的输出特征作为所述交叉融合Transformer的输入,并分别构成所述SR分支和Cont Grad梯度分支的所有交叉融合Transformer的输入特征集合H 和H :其中,p代表交叉融合Transformer的数量;
所述交叉融合Transformer由q个交叉局部增强自注意力模块和一个卷积层,第l个交叉局部增强自注意力模块的输出Zk,l的计算公式如下:其中, 和 分别表示第l层交叉局部增强自注意力模块和其末端的卷积层;
将 和 视为水平或行标记序列,并按通道进行逐一拆分,即和 其中, 和 分别表
示 和 的第i个通道输入特征,对于第l个所述交叉局部增强自注意力模块,先经过第一个水平交叉注意力层 得到一个非局部表示其中,ωq、ωk和ωv分别三个卷积核大小为1×1的卷积层,Attention(·)表示自注意T力层,σ1(Qi,Ki)用于计算Qi和 的相似度矩阵,并与Vi聚合以获得行或列注意力图,即得到非局部表示通过拼接非局部表示 从而获得在水平方向上增强的融合表示其中,[ ]表示串联操作;
Fuse Grad
第二个垂直交叉注意力层 接收Rl 和Tk 作为输入,并探索垂直或柱状标记的长Fuse距离依赖,即 和 其中Ti 和
Grad Grad Fuse Grad
Ti 分别表示 和H 的第i个通道输入特征;C 和C 中的垂直序列通过 进行Fuse转换,以产生在垂直方向上增强的融合表示Tl :
其中, 是Ti的非局部表示。
6.一种基于交叉注意力机制与Swin‑Transformer的图像超分辨率装置,其特征在于,包括:数据获取模块,被配置为获取待重建的低分辨率图像及其对应的梯度图;
模型构建模块,被配置为构建基于交叉注意力机制与Swin‑Transformer的图像超分辨率模型并训练,得到经训练的图像超分辨率模型;
执行模块,被配置为将所述待重建的低分辨率图像输入所述经训练的图像超分辨率模型,所述经训练的图像超分辨率模型包括SR分支和梯度分支,所述SR分支和梯度分支中分别采用浅层特征提取模块提取低分辨率图像及其对应的梯度图的浅层特征,通过全局深层特征提取模块将所述浅层特征进行融合,得到深层特征,将所述深层特征输入图像重建模块,重建得到高分辨率图像,所述浅层特征提取模块为一个3×3的卷积层,对应所述SR分支和梯度分支分别表示为ECont(·)和EGrad(·),对应提取得到SR分支和梯度分支的浅层特征Cont Grad H×W×CF ,F ∈R ,采用下式表示:
Cont
F =ECont(ILR);
Grad
F =EGrad(GLR);
其中,C表示中间特征通道数,ILR表示低分辨图像,GLR表示该低分辨率图像所对应的梯度图,ILR, H、W和Cin分别表示输入的低分辨率图像的高度、宽度和通道数;
所述全局深层特征提取模块包括细节特征提取模块、梯度特征提取模块、交叉融合模块和双向融合策略,所述SR分支和梯度分支中分别串联有6个细节特征提取模块和6个梯度特征提取模块,所述交叉融合模块为6个,所述SR分支和梯度分支的浅层特征分别输入细节特征提取模块和梯度特征提取模块中,经过以下操作,得到所述SR分支和梯度分支的全局上下Cont Grad文特征T 和T :
Cont Cont H×W×C
T =TCont(F )∈R ;
Grad Grad H×W×C
T =TGrad(F )∈R ;
其中,TCont(·)和TGrad(·)分别为所述细节特征提取模块和梯度特征提取模块;
Cont Grad
将所述SR分支和梯度分支的全局上下文特征T 和T 输入所述交叉融合模块中,得到结合全局和局部信息的交叉融合特征Zk:Cont Grad
Zk=HCAFT(T ,T );
通过双向融合策略将交叉融合特征Zk作为所述SR分支和梯度分支的补偿,再经过全局残差连接,得到所述SR分支和梯度分支中下一个所述交叉融合模块的输入特征 和和 分别表示第k个残差Swin‑Transformer块和梯度Transformer的输出特征,k=1,2,…,p,经过全局残差连接之后的最后一个所述交叉融合模块的输入为 和经过最后一个所述交叉融合模块的输出得到所述深层特征Zp;
将所述深层特征Zp输入所述图像重建模块,得到重建图像ISR:其中,α表示放大因子,DRec(·)表示重建模块。
7.一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1‑5中任一所述的方法。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1‑5中任一所述的方法。