1.一种基于跨层混合注意力Transformer的单帧图像超分辨率方法,其特征在于,包括如下步骤:采用浅层特征提取模块提取低分辨率图像的浅层特征;
采用多级混合注意力模块对浅层特征进行多次深层特征提取,保留每一级混合注意力模块的输出作为中间特征图,最后一级混合注意力模块的输出作为第一关联特征;
采用跨层多尺度非局部注意力模块捕捉各级中间特征图的多尺度上下文信息,得到第二关联特征;
采用跨层稀疏通道注意力模块捕捉各级中间特征图之间的通道依赖关系,得到第三关联特征;
采用特征融合模块对第一关联特征、第二关联特征和第三关联特征进行特征融合,得到深层全局特征;
对深层全局特征进行上采样,得到重建的高分辨率图像;
所述采用浅层特征提取模块提取低分辨率图像的浅层特征,浅层特征F0表示如下:其中, 表示低分辨率图像;Conv(·)表示卷积核为3×3的卷积层的函数,不改变输入特征图的通道数; 表示通道下采样卷积层的函数,将输入特征图的通道数上采样至48; 表示ReLU单元的函数;
所述采用多级混合注意力模块对浅层特征进行多次深层特征提取,保留每一级混合注意力模块的输出作为中间特征图,最后一级混合注意力模块的输出作为第一关联特征,中间特征图Fi表示为:Fi=HHAB,i(Fi‑1),i∈[1,N]
其中,N为多级混合注意力模块的级数,F0为浅层特征提取模块输出的浅层特征;HHAB,i(·)表示第i级混合注意力模块的函数,表示如下:X′=LN(Xin)
X″=WMSA(X′)+ωCA(X′)
Xout=MLP(LN(X″))+X″
其中, 和 分别表示多级混合注意力模块的输入和输出,和 表示中间计算结果,LN(·)表示层标准化层的函数,WMSA(·)表示基于窗口的多头自注意力函数,CA(·)表示通道注意力的函数,MLP(·)表示多层感知模块的函数,ω是用于平衡通道注意力和基于窗口的多头自注意力的参数;
所述采用跨层多尺度非局部注意力模块捕捉各级中间特征图的多尺度上下文信息,得到第二关联特征,第二关联特征 中第p个值表示如下:其中,p={1,2,……,H×W}; 表示中间特征图Fi的集合,N为多级混合注意力模块的级数;S={1,2,3},表示尺度因子集合; 表示中间特征图Fi中以位置q为中心、尺寸为s×s的特征块;ψ(•)表示第三特征转换函数,将输入特征转换为值特征图;
是一个用于归一化相似性的常数,其表达式如下:
为用于评估 和 之间相似性的函数,其表达式如下:其中,α(·)表示第一特征转换函数,将输入特征转换为特征描述符;β(·)表示第二特征转换函数,将输入特征转换为键特征图; 表示缩放因子为s的双三次下采样函数,T表示转置操作; 表示位置描述符 中第p个值,Zsd表示为:其中, 表示沿通道维度拼接后的中间特征图集合, 是一个缩放因子为N的通道下采样卷积层的函数;
所述采用跨层稀疏通道注意力模块捕捉各级中间特征图之间的通道依赖关系,得到第三关联特征,所述跨层稀疏通道注意力模块包括:通道选择单元,用于逐通道地从中间特征图中筛选出更有价值的通道级特征并进行自适应融合,输出通道级特征响应图稀疏自注意力单元,用于对通道级特征响应图Fc上不同通道间的相互依赖关系进行建模,得到第三关联特征所述通道选择单元逐通道地从中间特征图中筛选出更有价值的通道级特征并进行自适应融合,输出通道级特征响应图 包括以下步骤:首先,采用像素级累加聚合中间特征图F1,F2,...,FN,N为多级混合注意力模块的级数,得到融合特征 表示如下:其次,沿着通道维度对融合特征 施加全局平均池化,获得通道级统计量 表示如下:其中,fg(·)表示全局平均池化层的函数;
再次,利用N组平行的压缩‑激活模块,生成包含N个对应中间特征图Fi的特征描述符的集合 其中,特征描述符 表示为:其中, 和 分别表示缩放因子为2的通道上采样卷积层的函数和缩放因子为2的通道下采样卷积层的函数, 表示ReLU单元的函数;
最后,对 执行Softmax计算,以获得注意力激活值的集合并利用注意力激活值计算通道级特征响应图Fc,表示如下:其中,i∈[1,N],m∈[1,48]; 表示第i个中间特征图的注意力激活值, 表示第i个中间特征图在第m个通道上的注意力激活值; 表示第m个通道上的通道级特征,mFi表示第i个特征图在第m个通道上的特征;
所述稀疏自注意力对通道级特征响应图 上不同通道间的相互依赖关系进行建模,得到第三关联特征 包括以下步骤:首先,计算第a通道上的通道级特征响应图 与所有通道b上的通道级特征响应图的亲和度,a∈[1,48],所述亲和度表达式如下:其中,δ(·)和θ(·)表示特征转换函数,均通过一个卷积核为1×1的卷积层实现,T表示转置操作;
其次,利用TopK算法挑选出亲和度集合Aa=[Aa1,Aa2,...,AaN]中数值最高的k项,构建集合再次,利用Softmax函数对 归一化;
最后,令归一化的 与对应的通道级特征进行加权求和,以获得第三关联特征在第a通道上的通道级特征响应图 表示如下:其中,ρ(·)表示特征转换器,通过一个卷积核为1×1的卷积层实现;index(·)表示用index(μ)于获取与亲和度所对应通道级特征的索引的函数,Fc 表示亲和度μ所对应的通道级特征响应图;
所述采用特征融合模块对第一关联特征、第二关联特征和第三关联特征进行特征融合,得到深层全局特征,具体为:将所述的第一、第二和第三关联特征输入所述特征融合模块,得到深层全局特征表示如下:其中, 表示缩放因子为3的通道下采样卷积层的函数, 表示将第一关联特征FN、第二关联特征FCLMS和第三关联特征 拼接起来;
所述对深层全局特征进行上采样,得到重建的高分辨率图像,具体为:设置放大因子γ,令F0与FD相加,利用亚像素卷积层和通道下采样卷积层,对相加后的特征图进行空间级上采样和通道级下采样,从而生成放大 γ 倍的高分辨率图像其中,fsubpix(·)表示亚像素卷积层的函数, 表示缩放因子为3的通道下采样卷积层的函数。
2.一种基于跨层混合注意力Transformer的单帧图像超分辨率系统,其特征在于,包括:浅层特征提取模块,用于提取低分辨率图像的浅层特征;
多级混合注意力模块,用于对浅层特征进行多次深层特征提取,保留每一级混合注意力模块的输出作为中间特征图,最后一级混合注意力模块的输出作为第一关联特征;
跨层多尺度非局部注意力模块,用于捕捉各级中间特征图的多尺度上下文信息,得到第二关联特征;
跨层稀疏通道注意力模块,用于捕捉各级中间特征图之间的通道依赖关系,得到第三关联特征;
特征融合模块,用于对第一关联特征、第二关联特征和第三关联特征进行特征融合,得到深层全局特征;
高分辨率重建模块,用于对深层全局特征进行上采样,得到重建的高分辨率图像;
所述采用浅层特征提取模块提取低分辨率图像的浅层特征,浅层特征F0表示如下:其中, 表示低分辨率图像;Conv(·)表示卷积核为3×3的卷积层的函数,不改变输入特征图的通道数; 表示通道下采样卷积层的函数,将输入特征图的通道数上采样至48; 表示ReLU单元的函数;
所述采用多级混合注意力模块对浅层特征进行多次深层特征提取,保留每一级混合注意力模块的输出作为中间特征图,最后一级混合注意力模块的输出作为第一关联特征,中间特征图Fi表示为:Fi=HHAB,i(Fi‑1),i∈[1,N]
其中,N为多级混合注意力模块的级数,F0为浅层特征提取模块输出的浅层特征;HHAB,i(·)表示第i级混合注意力模块的函数,表示如下:X′=LN(Xin)
X″=WMSA(X′)+ωCA(X′)
Xout=MLP(LN(X″))+X″
其中, 和 分别表示多级混合注意力模块的输入和输出,和 表示中间计算结果,LN(·)表示层标准化层的函数,WMSA(·)表示基于窗口的多头自注意力函数,CA(·)表示通道注意力的函数,MLP(·)表示多层感知模块的函数,ω是用于平衡通道注意力和基于窗口的多头自注意力的参数;
所述采用跨层多尺度非局部注意力模块捕捉各级中间特征图的多尺度上下文信息,得到第二关联特征,第二关联特征 中第p个值表示如下:其中,p={1,2,……,H×W}; 表示中间特征图Fi的集合,N为多级混合注意力模块的级数;S={1,2,3},表示尺度因子集合; 表示中间特征图Fi中以位置q为中心、尺寸为s×s的特征块;ψ(•)表示第三特征转换函数,将输入特征转换为值特征图;
是一个用于归一化相似性的常数,其表达式如下:
为用于评估 和 之间相似性的函数,其表达式如下:其中,α(·)表示第一特征转换函数,将输入特征转换为特征描述符;β(·)表示第二特征转换函数,将输入特征转换为键特征图; 表示缩放因子为s的双三次下采样函数,T表示转置操作; 表示位置描述符 中第p个值,Zsd表示为:其中, 表示沿通道维度拼接后的中间特征图集合, 是一个缩放因子为N的通道下采样卷积层的函数;
所述采用跨层稀疏通道注意力模块捕捉各级中间特征图之间的通道依赖关系,得到第三关联特征,所述跨层稀疏通道注意力模块包括:通道选择单元,用于逐通道地从中间特征图中筛选出更有价值的通道级特征并进行自适应融合,输出通道级特征响应图稀疏自注意力单元,用于对通道级特征响应图Fc上不同通道间的相互依赖关系进行建模,得到第三关联特征所述通道选择单元逐通道地从中间特征图中筛选出更有价值的通道级特征并进行自适应融合,输出通道级特征响应图 包括以下步骤:首先,采用像素级累加聚合中间特征图F1,F2,...,FN,N为多级混合注意力模块的级数,得到融合特征 表示如下:其次,沿着通道维度对融合特征 施加全局平均池化,获得通道级统计量表示如下:其中,fg(·)表示全局平均池化层的函数;
再次,利用N组平行的压缩‑激活模块,生成包含N个对应中间特征图Fi的特征描述符的集合 其中,特征描述符 表示为:其中, 和 分别表示缩放因子为2的通道上采样卷积层的函数和缩放因子为2的通道下采样卷积层的函数, 表示ReLU单元的函数;
最后,对 执行Softmax计算,以获得注意力激活值的集合并利用注意力激活值计算通道级特征响应图Fc,表示如下:其中,i∈[1,N],m∈[1,48]; 表示第i个中间特征图的注意力激活值, 表示第i个中间特征图在第m个通道上的注意力激活值; 表示第m个通道上的通道级特征,mFi表示第i个特征图在第m个通道上的特征;
所述稀疏自注意力对通道级特征响应图 上不同通道间的相互依赖关系进行建模,得到第三关联特征 包括以下步骤:首先,计算第a通道上的通道级特征响应图 与所有通道b上的通道级特征响应图的亲和度,a∈[1,48],所述亲和度表达式如下:其中,δ(·)和θ(·)表示特征转换函数,均通过一个卷积核为1×1的卷积层实现,T表示转置操作;
其次,利用TopK算法挑选出亲和度集合Aa=[Aa1,Aa2,...,AaN]中数值最高的k项,构建集合再次,利用Softmax函数对 归一化;
最后,令归一化的 与对应的通道级特征进行加权求和,以获得第三关联特征在第a通道上的通道级特征响应图 表示如下:其中,ρ(·)表示特征转换器,通过一个卷积核为1×1的卷积层实现;index(·)表示用index(μ)于获取与亲和度所对应通道级特征的索引的函数,Fc 表示亲和度μ所对应的通道级特征响应图;
所述采用特征融合模块对第一关联特征、第二关联特征和第三关联特征进行特征融合,得到深层全局特征,具体为:将所述的第一、第二和第三关联特征输入所述特征融合模块,得到深层全局特征表示如下:其中, 表示缩放因子为3的通道下采样卷积层的函数, 表示将第一关联特征FN、第二关联特征FCLMS和第三关联特征 拼接起来;
所述对深层全局特征进行上采样,得到重建的高分辨率图像,具体为:设置放大因子γ,令F0与FD相加,利用亚像素卷积层和通道下采样卷积层,对相加后的特征图进行空间级上采样和通道级下采样,从而生成放大 γ 倍的高分辨率图像其中,fsubpix(·)表示亚像素卷积层的函数, 表示缩放因子为3的通道下采样卷积层的函数。