欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202310650996X
申请人: 吉林大学
专利类型:发明专利
专利状态:未下证
专利领域: 电通信技术
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种全局匹配的水下运动目标视觉增强方法,其特征是:所述方法包括以下步骤:步骤1:通过水下摄影设备采集目标的RGB视频序列;

步骤2:通过特征金字塔的多级编码器,得到多尺度的RGB边界帧特征;

步骤3:通过滑动窗口的分层视觉变换器进行特征增强;

步骤4:对提取的特征进行全局相关性匹配;

步骤5:利用逐级上采样特征解码器,并在上采样的过程中联合优化中间光流和中间帧特征,输出清晰视频中间帧;

步骤6:使用图像损失结合约束重建中间帧。

2.根据权利要求1所述的方法,其特征是:所述步骤1具体为:步骤1.1:将水下弱曝光目标的RGB视频拆解为一组三RGB帧的数据组,根据图像视觉质量过滤,删减具有运动模糊的数据;

步骤1.2:基于步骤1.1所获得的的结果,根据临近帧的结构相似度SSIM对数据过滤,使得临近帧之间 <0.95,通过下式表示为:其中, 是图片 的像素的平均值, 是图片 的像素的平均值, 是x的方差, 是y的方差, 是x和y的协方差, 是两个常数,避免除0,为像素值的范围, ; 3为默认值;

步骤1.3:根据步骤1.1和步骤1.2所获得的结果,构建基准训练集和测试集,比例为5:

1。

3.根据权利要求2所述的方法,其特征是:所述步骤2具体为:根据步骤1所记录的数据,使用两个边界帧生成特征,对于两个边界帧和代表真实标签的中间帧,使用参数共享的编码器在四个尺度 上提取特征,每个尺度提取模块由两个3×3卷积块组成,步长分别为2和1,每个卷积层经过卷积计算后使用PReLU激活函数;

通过逐渐提取空间大小,特征图的通道逐渐增加到32、64、96和128;对于两个边界帧得到的四个尺度的特征 ,用于后续合成中间帧,对于代表真实标签的中间帧得到的四个尺度的特征 用来计算步骤7所述的几何结构损失函数。

4.根据权利要求3所述的方法,其特征是:所述步骤3具体为:首先将步骤2得到的128通道的特征图划分割为非重叠的patch,经过变换器模块逐级合并patch;每个变换器模块由一个基于位移窗口的MSA模块组成,是一个中间带有GELU非线性的两层MLP,每个MSA模块和每个MLP之前应用LayerNorm层,在每个模块之后应用残差连接,通过分层视觉变换器,提取到的图像特征得到增强。

5.根据权利要求4所述的方法,其特征是:所述步骤4具体为:先通过softmax归一化全局相关性的后两个维度,从而得到匹配的概率,然后利用此概率对像素网格点做平均加权,通过计算对应点之间的坐标差得到光流,具体的:其中, , 是由步骤3得到的增强特征, ,是像素网格。

6.根据权利要求5所述的方法,其特征是:所述步骤5具体为:网络的解码器逐步细化中间流场,分别在四个尺度 上根据光流 和向后扭曲得到中间特征 ,然后与边界帧的金字塔特征 , 生成复合中间特征 ;

每个解码器通过在双边流场 和 之外输出更高层次的重构中间特征 ,填补缺失的信息以促进运动估计。

7.根据权利要求6所述的方法,其特征是:所述步骤6具体为:使用图像重建损失 来衡量网络输出 和真实值 之间的差异:其中, , 是Charbonnier损失, 是普查损失,计算大小为7×7的普查转换图像块之间的软汉明距离;

根据逐级上采样特征解码器,逐步恢复原始尺度,得到完整清晰的水下视频中间帧输出。

8.一种全局匹配的水下运动目标视觉增强系统,其特征是:所述系统包括:目标采集模块,所述目标采集模块通过水下摄影设备采集目标的RGB视频序列;

特征提取模块,所述特征提取模块通过特征金字塔的多级编码器,得到多尺度的RGB边界帧特征;

特征增强模块,所述特征增强模块通过滑动窗口的分层视觉变换器进行特征增强;

匹配模块,所述匹配模块对提取的特征进行全局相关性匹配;

优化模块,所述优化模块利用逐级上采样特征解码器,并在上采样的过程中联合优化中间光流和中间帧特征,输出清晰视频中间帧;

重建模块,所述重建模块使用图像损失结合约束重建中间帧。

9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行,以用于实现如权利要求1‑7的方法。

10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征是:所述处理器执行所述计算机程序时实现权利要求1‑7的方法。