1.一种基于跨尺度令牌交互的Transformer单图像超分辨率重建方法,其特征在于,包括如下步骤:步骤1、获取低分辨率图像,使用浅层特征提取模块SFE从低分辨率图像中提取初步的浅层特征;
步骤2、基于若干深度特征提取块DFE构建主干网络,其中,深度特征提取块DFE包含若干跨尺度令牌交互Transformer层CSTITL,将浅层特征输入主干网络中提取深层特征;
步骤3、将提取的浅层特征和深层特征融合后重建得到高分辨率图像;
步骤2具体包括如下步骤:
步骤201、每个深度特征提取块分别输出,一共有K个深度特征提取块,最后通过一个卷积层得到深层特征图,公式如下:步骤202、主干网络中的深度特征提取块包含L个跨尺度令牌交互Transformer层CSTITL,用于实现全局和多层次信息融合,以及一个3×3卷积层,专注于局部信息的聚合,公式如下:步骤203、考虑到多尺度信息的提取,跨尺度令牌交互Transformer层CSTITL中的多尺度信息提取模块MSIE对输入特征图,先进行逐步的池化下采样得到区域令牌特征图和全局令牌特征图,然后分别进行滑动窗口自注意力WSA的计算得到;
步骤204、跨尺度令牌交互Transformer层CSTITL中的跨尺度信息融合模块CSIF首先对像素令牌和区域令牌的跨尺度信息进行融合,首先取出对应于像素特征图(i,j)位置的像素令牌邻近的个区域令牌,以像素令牌为查询Q,区域令牌为键K和值V,在计算特征图前先通过线性层对Q,K的特征维度进行压缩以减少计算量,然后进行注意力的计算得到融合区域信息的像素令牌,补充特征图中的区域信息;
步骤205、接着使用跨尺度信息融合模块CSIF对像素令牌和全局令牌的跨尺度信息进行融合,融合过程与像素令牌和区域令牌的交互同理,唯一的区别仅在于每个像素令牌都要和所有的全局令牌进行注意力的计算,由此得到融合全局信息的像素令牌;
步骤206、得到后,将它们相加送入深度卷积门控前向传播层DWConvFFL提取深层特征;
步骤203具体为:先进行逐步的池化下采样得到区域令牌特征图和全局令牌特征图,考虑到不增加额外的参数,其共享线性层的参数,公式如下:窗口注意力即将给定输入划分为的不重叠窗口,然后分别计算每个窗口的标准自注意力后还原,输入窗口特征图,自注意力的计算公式如下:其中,R是可学习相对位置编码,Q是查询,K是键,V是值,T表示矩阵转置操作,d表示缩放系数;
步骤204中,以像素令牌为查询Q,区域令牌为键K和值V,在计算特征图前先通过线性层对Q,K的特征维度进行压缩以减少计算量,然后进行注意力的计算得到融合了区域信息的像素令牌,具体公式如下:其中,表示从像素令牌中取出第p个令牌,表示从区域令牌中取出的与空间上最接近的n2个区域令牌,循环这个过程直到所有像素令牌都完成计算。
2.根据权利要求1所述的一种基于跨尺度令牌交互的Transformer单图像超分辨率重建方法,其特征在于,步骤1具体为:使用一层 标准卷积将低分辨率图像映射到高位的特征空间,得到浅层特征,其中C表示通道数,表示特征图大小,公式如下:
3.根据权利要求1所述的一种基于跨尺度令牌交互的Transformer单图像超分辨率重建方法,其特征在于,步骤206中,所述深度卷积门控前向传播层DWConvFFL为线性变换层两个平行路径的逐元素乘积,其中之一通过 GELU 非线性激活,在其中加入深度卷积以对空间相邻像素位置的信息进行编码,公式如下:其中,表示逐元素乘积,深度卷积门控前项传播控制着我们管道中各个层级的信息流,从而允许每个级别专注于与其他级别互补的细节。
4.根据权利要求1所述的一种基于跨尺度令牌交互的Transformer单图像超分辨率重建方法,其特征在于,步骤3具体为:将步骤1得到的浅层特征与步骤2得到的深层特征通过跳跃连接进行特征融合,然后采用亚像素卷积上采样,得到重建后高分辨率图像,公式如下:
5.一种计算机装置,包括存储器、处理器及存储在存储器上的计算机程序,其特征在于,所述处理器执行所述计算机程序以实现权利要求1所述方法的步骤。
6.一种计算机可读存储介质,其上存储有计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1所述方法的步骤。
7.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被处理器执行时实现权利要求1所述方法的步骤。