1.一种基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法,其特征在于,特征模型ALCLDeblur包括:1个带有CAM注意力机制的生成器,1个带有CAM注意力机制的判别器,1个配准器;
所述方法包括:
步骤10:采集数据,无人机飞行并采集高清视频数据,根据高清视频数据构建多组无人机遥感图像的模糊图像‑清晰图像对(x,y),形成训练数据集;
步骤20:训练模型,根据训练数据集训练特征模型ALCLDeblur,其中,生成器输入模糊图像x,输出去模糊图像G(x),判别器输入清晰图像y和去模糊图像G(x),输出判别结果,判别结果包括主判别结果D(y)、D(G(x)),以及辅助判别结果η(y)、η(G(x)),配准器输入去模糊图像G(x)和清晰图像y,输出配准特征图R(G(x))和R(y),根据生成器总损失训练生成器;
步骤30:测试模型,将待处理的无人机遥感视频的模糊图像输入训练好的生成器得到对应的去模糊图像;
生成器包括生成器CAM注意力层,生成器CAM注意力层的输入特征图经过自适应均值池化层处理再经过全连接层进行空间映射,获得第一平均池化权重,生成器CAM注意力层的输入特征图经过自适应最大池化层处理再经过全连接层进行空间映射,获得第一最大池化权重,第一平均池化权重和第一最大池化权重分别与生成器CAM注意力层的输入特征图进行逐元素相乘,获得的两张CAM响应图拼接后经过1×1卷积变换,获得生成器CAM的注意力特征作为生成器CAM注意力层的输出;
判别器包括判别器CAM注意力层,判别器CAM注意力层的输入特征图经过自适应均值池化层处理再经过带有InstanceNorm归一化的全连接层进行空间映射进行空间映射,获得第二平均池化权重,生成器CAM注意力层的输入特征图经过自适应最大池化层处理再经过全连接层进行空间映射,获得第二最大池化权重,第二平均池化权重和第二最大池化权重分别与判别器CAM注意力层的输入特征图进行逐元素相乘,获得的两张CAM响应图拼接后经过带有InstanceNorm归一化的1×1卷积变换,获得第二判别器注意力特征作和辅助判别特征图为判别器CAM注意力层的输出;
配准器包括:1个1×1卷积层ω,1个per‑patch全连接层 1个MLP层M,1个全连接层v;
卷积层ω用于生成特征图Y,表征去模糊图像G(x)和清晰图像y的色域信息;
per‑patch全连接层 用于图像块切割,将大小为H×W×C的特征图Y,切割成n个大小为P1×P2的图像块,n=(H/P1)×(W/P2),H为能够被P1整除的数,W为能够被P2整除的数,得到分块后的特征图 使用per‑patch全连接层 从Yr中随机选取出其中第i个图像块Yi;
MLP层M用于对Yi进行高层非线性映射,再输入到全连接层v处理获得配准特征图R=v(Yi),模糊图像G(x)和其对应的清晰图像y在配准器处理中,选取图像块的编号i相同,使用的配准器网络权重相同;
生成器总损失
配准损失
其中,去模糊图像的配准特征图S=R(G(x)),清晰图像的配准特征图T=R(y),‖·‖表示矩阵的模长,τ表示调整系数。
生成器的生成对抗损失
pd(x)表示模糊图像数据x服从的概率分布;c表示生成器为了让判别器认为去模糊图像是清晰图像而定的值,c=1。
生成器的身份内容损失
其中,μG(x)表示G(x)的均值,μy表示y的均值;σG(x)表示G(x)的方差,σy表示y的方差;
2 2
σG(x)y表示G(x)与y的协方差;c1、c2是用来稳定损失函数的常数,c1=(K1L) ,c2=(K2L) ,L表示像素的范围,K1=0.001,K2=0.003。
2.根据权利要求1所述的基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法,其特征在于,生成器采用特征金字塔网络方式构建,包括十五层结构:生成器第一层、第十四层为池化层;
生成器第二层为生成器conv1卷积层,用于获取第一深度特征,代表卷积核为7,填充为
0,使用InstanceNorm2d函数进行归一化,使用ReLU函数进行激活;
生成器第三到四层为生成器conv2卷积层,用于获取第二深度特征,卷积核大小为3,步长为2,填充为1,使用InstanceNorm2d函数进行归一化,使用ReLU函数进行激活;
生成器第五到七层、第九到十一层为残差块,残差块包括填充值为1的边界填充层、卷积核大小为3的卷积层、归一化与ReLU激活层、参数为0.5的Dropout层;
生成器第八层为生成器CAM注意力层;
生成器第十二到十三层为Deconv上采样层,上采样倍数为2,在每次上采样后进行一次卷积处理,卷积核大小为3,步长为2,填充为1,再进行一次InstanceNorm归一化和ReLU激活函数处理;
生成器第三层与第十三层通过1×1卷积跳跃连接,生成器第四层与第十二层通过1×1卷积跳跃连接;
生成器第十五层为卷积核为7、填充为0的卷积层,经过Tanh激活函数处理后的输出结果与模糊图像x进行跳跃连接,生成去模糊图像G(x)。
3.根据权利要求1所述的基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法,其特征在于,判别器包括六层结构:判别器第一至第三层为判别器conv1卷积层,代表卷积核大小为4,步长为2,填充为2;
判别器第四层为判别器CAM注意力层;
判别器第五和第六层为判别器conv2卷积层,代表卷积核大小为4,步长为1,填充为2,其中,判别器第五层带有InstanceNorm归一化和Leaky ReLU函数,判别器第六层通道数为
1,输出判别结果。
判别器为多尺度判别器,步骤20还包括:对于每一个输入判别器的去模糊图像G(x),先将清晰图像y输入判别器,得到尺度一的判别结果,再将清晰图像y进行尺度为2的下采样操作后输入判别器,得到尺度二的判别结果,再将清晰图像y进行尺度为3得到尺度三的判别结果。
4.根据权利要求1所述的基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法,其特征在于,残差块采用Leaky ReLU函数作为激活函数,ALCLDeblur中所有Leaky ReLU函数的斜率均为0.2。
5.根据权利要求1所述的基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法,其特征在于,步骤20还包括:根据判别器损失训练判别器,判别器损失包括主判别生成对抗损失以及辅助判别生成对抗损失
pd(y)表示清晰图像数据y服从的概率分布;pd(x)表示模糊图像数据x服从的概率分布;
表示清晰图像数据y样本被判别为真的期望; 表
示去模糊图像G(x)样本被判别为假的期望;a、b分别表示去模糊图像G(x)样本编码和清晰图像数据y样本编码,c表示生成器为了让判别器将去模糊图像G(x)判别为真而定的值,设置b=c=1,a=0。
6.根据权利要求1所述的基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法,其特征在于,步骤20还包括:引入了梯度正则化,对生成器、判别器和配准器进行正则化处理。
7.根据权利要求1所述的基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法,其特征在于,步骤20还包括:先固定判别器与配准器,训练生成器并更新参数,再固定生成器,训练判别器与配准网络。
8.根据权利要求1所述的基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法,其特征在于,步骤20还包括:使用Adam方法训练特征模型ALCLDeblur,设置n=256,P1=P2=16,τ=0.007;生成器和配准器学习率选择0.0001、判别器学习率选择为0.0002。
9.一种计算机设备,其特征在于,包括:
存储器,用于存储指令;以及
处理器,用于调用所述存储器存储的指令执行如权利要求1‑8中任一项所述的基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法。
10.一种计算机可读存储介质,其特征在于,存储有指令,所述指令被处理器执行时,执行如权利要求1‑8中任一项所述的基于对抗学习与对比学习的无人机遥感视频盲去运动模糊方法。