1.基于特征蒸馏和层间信息交互的轻量级图像超分辨率方法,其特征在于,包括以下步骤:构建动态非对称蒸馏模块和层间全维信息交互模块;
基于动态非对称蒸馏模块和层间全维信息交互模块构建轻量级图像超分辨率网络;
利用所述轻量级图像超分辨率网络实现图像超分辨率;
其中,所述轻量级图像超分辨率网络利用卷积层对输入的低分辨率图像进行浅层特征提取,利用动态非对称蒸馏模块和层间全维信息交互模块对浅层特征进行深层特征提取,利用卷积层和上采样对深层特征进行图像重建,得到高分辨率图像;
所述利用所述轻量级图像超分辨率网络实现图像超分辨率,包括以下步骤:利用3×3卷积层对输入的低分辨率图像进行浅层特征提取,表示为:I0=fSF(ILR);
其中,ILR表示输入的低分辨率图像,I0为3×3卷积层的输出,fSF(·)表示3×3卷积层;
利用动态非对称蒸馏模块和层间全维信息交互模块对浅层特征进行深层特征提取,表示为:其中,为第i个动态非对称蒸馏模块的输出,为第j个层间全维信息交互模块的输出;第4个层间全维信息交互模块的输出为最终得到的深层特征;
利用卷积层和上采样对深层特征进行图像重建,得到高分辨率图像,表示为:其中,IHR表示输出的高分辨率图像,fRec(·)表示重建操作;
所述动态非对称蒸馏模块的内部执行过程包括以下步骤:利用非对称可分离卷积和额外的卷积层对输入特征进行特征蒸馏,表示为:Id1=fD1(Iin);
Ia1=fASCB(Iin);
Id2=fD2(Ia1+Id1);
Ia2=fASCB(Ia1+Id1);
Id3=fD3(Ia2+Id1+Id2);
其中,Iin表示动态非对称蒸馏模块的输入特征;Id1、Id2和Id3分别表示第1组蒸馏特征、第2组蒸馏特征和第3组蒸馏特征;Ia1和Ia2分别表示第1组粗特征和第2组粗特征;fD1(·)、fD2(·)和fD3(·)分别表示第1层卷积、第2层卷积和第3层卷积;fASCB(·)表示非对称可分离卷积;
对蒸馏特征进行特征融合与增强,表示为:
Iout=fESA(fConv1(Concat(Id1,Id2,Id3)));
其中,Iout即为动态非对称蒸馏模块的最终输出fESA(·)为增强空间注意块,fConv1(·)为1×1卷积,Concat(·)表示连接操作;
所述层间全维信息交互模块的内部执行过程包括以下步骤:对输入特征提取不同层次的空间和通道关联信息,得到带有全域注意力权重的特征矩阵;
对带有全域注意力权重的特征矩阵进行动态加权,得到重塑特征矩阵;
整合重塑特征矩阵,作为层间全维信息交互模块的输出;
所述对输入特征提取不同层次的空间和通道关联信息,得到带有全域注意力权重的特征矩阵,包括以下步骤:基于层间全维信息交互模块的输入特征Hk∈R(H,W,C),引入局部可分离卷积生成查询矩阵Qs、键矩阵Ks、值矩阵Vs,分别表示为:Qs=Hk·Wq,Ks=Hk·Wk,Vs=Hk·Wv;
其中,Wq、Wk和Wv分别表示查询向量对应的线性变换矩阵、键向量对应的线性变换矩阵和值向量对应的线性变换矩阵,k表示层间全维信息交互模块的第k个输入;
计算第一中间结果As,表示为:
As=SoftMax(QsKsT)·Vs;
其中,SoftMax(·)表示归一化指数函数;
Qs、Ks、Vs经过旋转得到Qc、Kc、Vc,表示为:Qc=fR(Qs),Kc=fR(Ks),Vc=fR(Vs);
计算第二中间结果Ac,表示为:
Ac=SoftMax(QcKcT)·Vc;
第二中间结果Ac经过矩阵转置输出带有全域注意力权重的特征矩阵H′k∈R(H,W,C),表示为:其中,fR(·)表示沿空间轴的旋转操作,表示逆旋转操作。
2.根据权利要求1所述的基于特征蒸馏和层间信息交互的轻量级图像超分辨率方法,其特征在于,非对称可分离卷积fASCB(·)表示为:I1=fLSConv1×3(σ(fLSConv3×1(Iin)));
I2=fLSConv3×1(σ(fLSConv1×3(Iin)));
I′out=σ(I1+I2);
其中,I1和I2分别表示非对称可分离卷积中两个分支的输出,I′out为非对称可分离卷积fASCB(·)的输出,fLSConv1×3表示卷积核为1×3的局部可分离卷积,fLSConv3×1表示卷积核为3×1的局部可分离卷积;σ(·)表示激活函数。
3.根据权利要求2所述的基于特征蒸馏和层间信息交互的轻量级图像超分辨率方法,其特征在于,所述局部可分离卷积包括部分卷积和逐点卷积,表示为:I′in=fPConv(Iin,C′,d);
I”out=fPWConv(I′in);
其中,I′in表示部分卷积的输出,I”out为经过局部可分离卷积fLSConv的输出;C′表示指定的通道子集,d表示扩张率;fPConv(·)表示部分卷积操作,fPWConv(·)表示逐点卷积操作。
4.根据权利要求1所述的基于特征蒸馏和层间信息交互的轻量级图像超分辨率方法,其特征在于,所述对带有全域注意力权重的特征矩阵进行动态加权,得到重塑特征矩阵,包括以下步骤:计算权重矩阵Al,表示为:
H′group=freshape(H′1,…H′k,…H′n);
Al=SoftMax(freshape(H′group)·H′group);
其中,freshape(·)表示矩阵重塑操作,n表示层间全维信息交互模块的输入数量;
将权重矩阵与不同层的特征图H′group相乘实现动态加权,得到加权特征组,表示为:H″group=fconv1(Al)·H′group;
其中,fconv1(·)表示1×1卷积;
将加权特征组重塑为H″k∈R(H,W,C),k={1,…,n},表示为:(H″1,…H″k,…H″n)=freshape(H″group);
其中,H″k表示重塑特征矩阵。
5.根据权利要求1所述的基于特征蒸馏和层间信息交互的轻量级图像超分辨率方法,其特征在于,所述整合重塑特征矩阵,表示为:IHGIB=fconv1([H″1,…H″k,…H″n]);
其中,IHGIB表示层间全维信息交互模块的输出,[·]表示沿通道拼接操作,fconv1(·)表示1×1卷积。
6.根据权利要求1所述的基于特征蒸馏和层间信息交互的轻量级图像超分辨率方法,其特征在于,所述利用所述轻量级图像超分辨率网络实现图像超分辨率,将H×W×C低分辨率图像作为输入,得到的输出是一幅(H*scale)×(W*scale)×C维度的高分辨率输出,其中,scale为需求的放大倍数。