1.基于特征金字塔注意力神经网络的太赫兹图像增强方法,其特征在于,包括以下步骤:
S1、使用SIDD公开数据集作为数据集,选取SIDD数据集中M张成对的低质量‑高质量图像,记为
S2、构建特征金字塔注意力卷积神经网络模型;
S3、训练所述神经网络模型;
S4、利用太赫兹成像仪拍摄得到K张分辨率为a×b的带噪声的太赫兹图像集H,然后将该图像集输入到深度神经网络,之后输出即为高质量图像GT。
2.根据权利要求1所述的基于特征金字塔注意力神经网络的太赫兹图像增强方法,其特征在于,所述步骤S1还包括以下步骤:首先将SIDD数据集彩色图像转为单通道灰度图,然后进行数据增强,将灰度图裁剪为K张分辨率为a×b的图像,接着将裁剪后的图像随机上下翻转、随机将图像旋转R1,R2,R3,R4度,Rl∈[1,4]∈[D,E],得到用于训练的子图像集 记为S。
3.根据权利要求1所述的基于特征金字塔注意力神经网络的太赫兹图像增强方法,其特征在于,所述步骤S2还包括以下步骤:S21、使用h个卷积核尺寸为s,通道数为c1的卷积层和Relu层,将分辨率为m×n,通道数为c2的太赫兹图像处理为分辨率为m×n,通道数为c1的张量信息,上述操作如下:C1=Convh(Wi)
上式中Wi为输入的通道数为c2,分辨率为m×n的张量信息,Convh(·)表示卷积层,C1为输出的张量信息;
然后将张量信息输入至通道注意力模块,最后通过h1个卷积核尺寸为s,通道数为c3的卷积层,上述操作如下:
Nest=Conv(CAB(C1,θ,β))上式中Nest为通道数为c3,分辨率为m×n的张量信息,Conv(·)表示卷积操作,CAB(·)为通道注意力模块,θ和β是网络待优化的参数;通道注意力利用通道映射之间的相互依赖性,改进特定语义信息的特征表示,来显式地建模通道之间的相互依赖关系;
S22、输入特征首先通过卷积层,尺寸为s,通道数为c4,然后分别进行Reshape和Transpose操作,最后在不同阶段进行相乘和相加,给不同特征通道进行加权,其表示如下:C1_1=Reshape(C1)C1_2=Reshape(C1)C1_3=RT(C1)
C1_4=Softmax(C1_2*C1_3)C1_5=Reshape(β(C1_1*C1_4))*
C1=C1+C1_5
*
上式中C1为经过加权后的C1,RT表示Reshape和Transpose操作;最后将输入特征与输出特征进行维度层面的拼接操作,实现低级特征和高级特征的融合,其表示如下:C2=Concat(Nest,Wi)上式中C2为通道数为c5=c2+c3,分辨率为m×n的张量信息,Concat(·)为维度的层面拼接操作,然后将C2通过h个卷积核尺寸为s,通道数为c6的卷积层和Relu层提取特征,然后通过h个特征金字塔注意力模块进行不同尺度特征的融合,之后通过h个卷积核尺寸为s,通道数为c7的卷积层和Relu层,其过程表示如下:C3=Convh(C2)
C4=FPAh(C3)
C5=Convh(C4)
上式中Convh(·)表示h个卷积层和Relu层的操作,FPAh(·)表示h个特征金字塔注意力模块;
S23、输入通道数为c6,分辨率为的m×n特征C3分别通过下采样残差模块之后生成四个通道数为c6,尺度为m/2×n/2,n/4×n/4,m/8×n/8,m/16×n/16的特征图,这样构建了五层的特征金字塔模型;对每个尺度下的特征图通过一个通道注意力模块,建模通道之间的相互依赖关系,最后对每个尺度下的特征使用bicubic上采样,进行特征融合;特征金字塔注意力通过利用构建的多尺度特征图,使用注意力机制来显式建模不同尺度特征的相关性,使得重建后的太赫兹图像细节信息保留完整;最后,使用残差连接来保留更丰富的特征信息,最后通过h2个卷积核尺寸为s,通道数为c8的卷积层得到增强后的太赫兹图像;其过程表示如下:
Cout=Conv(C3+C5)上式中Cout为最终增强后的太赫兹图像。
4.根据权利要求1所述的基于特征金字塔注意力神经网络的太赫兹图像增强方法,其特征在于,所述步骤S3具体为:采用生成对抗网络的训练方法,训练的网络包括图像增强网络G和判别网络D,损失函数包含三个部分,内容损失L(θ),噪声损失Ln以及生成对抗损失LA(G,D);
内容损失衡量高质量图像与神经网络模型增强之后的图像之间的差距,采用l1损失,公式表示如下:
*
上式中N为一个epochs下训练的图像数量,Net(·)为网络模型,Wj 为第j个低质量图*
像,GTj为第j个高质量图像,θ为神经网络待优化的参数;
噪声损失公式表示如下:
j * * j
上式中α为常数,Ngt=Wj‑GTj为第j张图像的真实噪声,Nest为神经网络估计的噪声;
生成对抗损失公式表示如下:
上式中minD为判别器的损失函数,minG为生成器的损失函数,D(·)为判别器网络,G(·)为生成器网络,E[·]为损失;
总的损失Ltotal为三个损失的线性组合;其公式表示如下:Ltotal=λ1L(θ)+λ2Ln+λ3LA(G,D)上式中λ1,λ2,λ3是三种损失函数的权重,其值为常数;
在深度神经网络训练过程中,采用ADAM函数对损失函数Ltotal进行优化,初始学习率设置为lr,每迭代I次学习率下降α倍;用于训练每一批的图片数量为N;经过epochs次迭代训*
练后,可得到优化参数θ。
5.根据权利要求1所述的基于特征金字塔注意力神经网络的太赫兹图像增强方法,其特征在于,所述步骤S4具体为:数学模型可以表示如下:
*
GT=GT(x,y)=Net(H,θ)上式中GT(x,y)表示高质量图像,Net(·)是一个隐函数,表示训练好的深度神经网络,*
θ是训练好的深度神经网络的参数,(x,y)表示像素坐标。