1.一种全局匹配的水下运动目标视觉增强方法,其特征是:所述方法包括以下步骤:步骤1:通过水下摄影设备采集目标的RGB视频序列;
步骤2:通过特征金字塔的多级编码器,得到多尺度的RGB边界帧特征;
步骤3:通过滑动窗口的分层视觉变换器进行特征增强;
步骤4:对提取的特征进行全局相关性匹配;
步骤5:利用逐级上采样特征解码器,并在上采样的过程中联合优化中间光流和中间帧特征,输出清晰视频中间帧;
步骤6:使用图像损失结合约束重建中间帧。
2.根据权利要求1所述的方法,其特征是:所述步骤1具体为:步骤1.1:将水下弱曝光目标的RGB视频拆解为一组三RGB帧的数据组,根据图像视觉质量过滤,删减具有运动模糊的数据;
步骤1.2:基于步骤1.1所获得的的结果,根据临近帧的结构相似度SSIM对数据过滤,使得临近帧之间 <0.95,通过下式表示为:其中, 是图片 的像素的平均值, 是图片 的像素的平均值, 是x的方差, 是y的方差, 是x和y的协方差, 是两个常数,避免除0,为像素值的范围, ; 3为默认值;
步骤1.3:根据步骤1.1和步骤1.2所获得的结果,构建基准训练集和测试集,比例为5:
1。
3.根据权利要求2所述的方法,其特征是:所述步骤2具体为:根据步骤1所记录的数据,使用两个边界帧生成特征,对于两个边界帧和代表真实标签的中间帧,使用参数共享的编码器在四个尺度 上提取特征,每个尺度提取模块由两个3×3卷积块组成,步长分别为2和1,每个卷积层经过卷积计算后使用PReLU激活函数;
通过逐渐提取空间大小,特征图的通道逐渐增加到32、64、96和128;对于两个边界帧得到的四个尺度的特征 ,用于后续合成中间帧,对于代表真实标签的中间帧得到的四个尺度的特征 用来计算步骤7所述的几何结构损失函数。
4.根据权利要求3所述的方法,其特征是:所述步骤3具体为:首先将步骤2得到的128通道的特征图划分割为非重叠的patch,经过变换器模块逐级合并patch;每个变换器模块由一个基于位移窗口的MSA模块组成,是一个中间带有GELU非线性的两层MLP,每个MSA模块和每个MLP之前应用LayerNorm层,在每个模块之后应用残差连接,通过分层视觉变换器,提取到的图像特征得到增强。
5.根据权利要求4所述的方法,其特征是:所述步骤4具体为:先通过softmax归一化全局相关性的后两个维度,从而得到匹配的概率,然后利用此概率对像素网格点做平均加权,通过计算对应点之间的坐标差得到光流,具体的:其中, , 是由步骤3得到的增强特征, ,是像素网格。
6.根据权利要求5所述的方法,其特征是:所述步骤5具体为:网络的解码器逐步细化中间流场,分别在四个尺度 上根据光流 和向后扭曲得到中间特征 ,然后与边界帧的金字塔特征 , 生成复合中间特征 ;
每个解码器通过在双边流场 和 之外输出更高层次的重构中间特征 ,填补缺失的信息以促进运动估计。
7.根据权利要求6所述的方法,其特征是:所述步骤6具体为:使用图像重建损失 来衡量网络输出 和真实值 之间的差异:其中, , 是Charbonnier损失, 是普查损失,计算大小为7×7的普查转换图像块之间的软汉明距离;
根据逐级上采样特征解码器,逐步恢复原始尺度,得到完整清晰的水下视频中间帧输出。
8.一种全局匹配的水下运动目标视觉增强系统,其特征是:所述系统包括:目标采集模块,所述目标采集模块通过水下摄影设备采集目标的RGB视频序列;
特征提取模块,所述特征提取模块通过特征金字塔的多级编码器,得到多尺度的RGB边界帧特征;
特征增强模块,所述特征增强模块通过滑动窗口的分层视觉变换器进行特征增强;
匹配模块,所述匹配模块对提取的特征进行全局相关性匹配;
优化模块,所述优化模块利用逐级上采样特征解码器,并在上采样的过程中联合优化中间光流和中间帧特征,输出清晰视频中间帧;
重建模块,所述重建模块使用图像损失结合约束重建中间帧。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以用于实现如权利要求1‑7的方法。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征是:所述处理器执行所述计算机程序时实现权利要求1‑7的方法。