欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023109360849
申请人: 河海大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.面向水下结构检测的悬浮杂质视觉遮挡区域修复方法,其特征在于,包括以下步骤:步骤S1:将当前帧Ik及其相邻前后帧Ik‑1与Ik+1组成的三帧帧段作为输入数据,分别得到当前帧与前后两帧之间的运动光流场,根据运动光流场信息与边缘引导的区域分割信息,计算相邻帧之间的背景位移值,并将背景位移作为补偿信息对相邻帧进行对齐,消除相机运动对悬浮杂质运动信息检测的干扰,得到当前帧Ik、对齐后的前相邻帧 以及对齐后的后相邻帧步骤S2:利用帧间差分建立动态视觉感知模型,提取所述步骤S1中得到的对齐后的前相邻帧 与对齐后的后相邻帧 之间的运动与颜色信息,将相邻前后帧的悬浮杂质检测结果互为补充,得到悬浮杂质检测结果区域Sk;

步骤S3:通过所述悬浮杂质检测结果区域Sk,即得到悬浮杂质遮挡区域,用于悬浮杂质遮挡区域的修复;利用所述步骤S1得到的对齐后的前相邻帧 与对齐的后相邻帧之间的背景冗余信息,构建混合修复模型,确定对齐后的相邻帧中的最佳匹配区域,对当前帧的悬浮杂质遮挡区域进行第一次修复,得到第一次修复结果 再结合视频修复的联合时空变换网络STTN对无法修复的区域进行第二次修复,得到第二次修复结果 融合两次修复结果 和 得到最终的修复图像步骤S4:当前输入数据处理完成后,更新三帧帧段,重复步骤S1至步骤S4的处理,直至视频帧全部修复完成。

2.根据权利要求1所述的面向水下结构检测的悬浮杂质视觉遮挡区域修复方法,其特征在于,所述步骤S1具体包括以下步骤:步骤S11:采用Selflow光流法分别得到当前帧Ik与前后相邻帧Ik‑1与Ik+1的运动光流场,再将运动光流场转换得到前后相邻帧的可视化彩色图 和步骤S12:采用Canny算法对所述步骤S11中得到的前后相邻帧的可视化彩色图和 进行边缘检测,计算每个像素点的边缘概率,对边缘图进行定向分水岭变换与超度等高线图变换UCM,将不闭合的边界概率区域转换成若干个闭合的区域,得到前后相邻帧的闭合区域 与步骤S13:分别以所述步骤S12中得到的前后相邻帧的闭合区域 与 的均值作为图像分割阈值,获取前后相邻帧的可视化彩色图 和 的区域分割结果

与

步骤S14:将所述步骤S11得到的前后相邻帧的可视化光流彩色图 和 转换至CIELAB颜色空间,构建每个区域内的颜色直方图,计算分割区域i与其他区域之间的加权c对比度Ctri,获取前后相邻帧的前景区域概率估计图 与

其中,N为根据图像分割阈值分割得到的区域个数;i、j皆为分割区域,亦皆为 与中的区域,i=1,2,3,……,N; 和 表示分割区域i和j的颜色直方图,j=1,2,

3,……,N,i≠j;||·||2为欧式距离,||pi,pj||2为分割区域i和j的中心点位置距离,σspa是空间加权方案的参数;

步骤S15:使用最大类间方差法分别计算步骤S14得到的前后相邻帧的前景区域概率估计图 与 的全局图像阈值,得到前后相邻帧的前景与背景区域的区分标记图与步骤S16:根据前景区域周边的背景位移矢量对该区域进行补偿。

3.根据权利要求2所述的面向水下结构检测的悬浮杂质视觉遮挡区域修复方法,其特征在于,所述步骤S16的具体步骤为:步骤S16a:对前相邻帧进行变换,使其背景区域与当前帧的背景区域一致,提取任一前景区域Rfi,并对其进行膨胀处理,依次以膨胀区域的边缘像素点为中心构建8连通域窗口,计算所有窗口内的光流矢量均值作为该前景区域的背景位移补偿值,循环计算所有前景区域的背景位移作为前景目标区域的补偿信息,得到前相邻帧补偿后的背景光流场再按同样的步骤求取后相邻帧补偿后的背景光流场其中,x′表示前景目标区域膨胀后的边缘像素点, 表示前相邻帧边缘像素点x′对应8连通域的光流平均矢量值, 表示后相邻帧边缘像素点x′对应8连通域的光流平均矢量值,mean(·)为均值计算符号;

步骤S16b:利用所述步骤S16a得到的前相邻帧补偿后的背景光流场 与后相邻帧补偿后的背景光流场 分别对前、后相邻帧进行对齐变换,即根据光流矢量将图像坐标进行对应的偏移调整,得到对齐后的前相邻帧 与对齐后的后相邻帧其中,x表示边缘像素点的横坐标,y表示边缘像素点的纵坐标。

4.根据权利要求1所述的面向水下结构检测的悬浮杂质视觉遮挡区域修复方法,其特征在于,所述步骤S2具体包括以下步骤:步骤21:分别对当前帧Ik与所述步骤S1中得到的对齐后的前相邻帧 和对齐后的后相邻帧 进行前向帧差与后向帧差计算,分别获得当前帧与前相邻帧之间的差分图 与当前帧与后相邻帧之间的差分图 并将其作为动态感知的运动信息:其中,(x,y)表示 与 中的像素点位置,T′为差分图阈值,用于分别在RGB三个通道内过滤差异图像的噪点;

步骤22:对所述步骤21获得的当前帧与前相邻帧之间的差分图 与当前帧与后相邻帧之间的差分图 进行中值滤波,得到前向运动特征图 与后向运动特征图步骤S23:利用最大类间方差法分别获取前向运动特征图 的阈值 与后向运动特征图 的阈值其中,Otsu(·)表示最大类间方差法获取的全局图像阈值,mean(·)表示计算均值,通过全值阈值分割得到小尺寸悬浮杂质检测图 和步骤24:采用Canny与UCM结合的方法获取当前帧Ik的区域分割结果步骤25:依次提取所述步骤24得到的区域分割结果 中每个区域的像素点,分别计算每个区域中对应前向运动特征值与后向运动特征值的均值,生成运动对比感知热力图与 再通过阈值分割获取前向运动的细化标志图 和后向运动的细化标志图步骤26:计算前向运动的细化标志图 和后向运动的细化标志图 与基于全

局光流场获取的运动对比感知热力图 和 的交集,得到大尺寸悬浮杂质区域的细化结果 和 即步骤27:将小尺寸悬浮杂质检测图 和 与大尺寸悬浮杂质检测区域细化结果和 相结合,得到悬浮杂质的最终检测结果

5.根据权利要求1所述的面向水下结构检测的悬浮杂质视觉遮挡区域修复方法,其特征在于,所述步骤S3具体包括以下步骤:步骤31:根据相邻帧中的最佳匹配区域构建混合修复标签图,以L={0,1,2,3}表示,其中,L(x,y)=1表示该像素点未被悬浮杂质遮挡,不需要修复;当L(x,y)=2时,表示该像素点的最佳匹配点为前相邻帧 的对应像素点;当L(x,y)=3时,表示该像素点的最佳匹配点为后相邻帧 的对应像素点;当L(x,y)=0时,表示该像素点在三帧帧段中未搜寻到有效匹配点进行修复,需要通过对周边信息的学习进行估计;

步骤32:采用最小化标签代价的方法,求解混合修复标签图L,根据所述步骤31中匹配条件计算最小化标签代价C(L):其中,Cd(L)用于衡量对齐后相邻帧与当前帧之间的差异;Cs(L)用于度量对齐后相邻帧中的最佳匹配区域与当前帧中的邻近区域之间的平滑代价;τ是正则化参数,τ=50; 表示对齐后的相邻帧,包括对齐后的前相邻帧 与对齐的后相邻帧 是像素点(x,y)的4连接邻居的集合; 为异或运算符;x和y分别表示 区域内的像素点;

步骤33:通过最小化标签代价C(L),获得混合修复标签图L,再将当前帧中未被悬浮杂质遮挡的区域全部置0。

6.根据权利要求5所述的面向水下结构检测的悬浮杂质视觉遮挡区域修复方法,其特征在于,所述步骤S33具体包括以下步骤:步骤33A:根据混合修复标签图L对当前帧Ik进行第一次修复,并采用多频段融合方法消除修复后的图像光照不均匀痕迹,具体流程如下;

步骤33A1:利用高斯金字塔将待修复的当前帧Ik、对齐后的前相邻帧 以及后相邻帧 分别分解为多个多频段的子图像,以Ik作为高斯金字塔的底层图像 然后通过一个5×5的低通高斯内核g5×5从底层图像 开始逐层卷积和下采样获取其他金字塔层图像,最终构建一个Nga+1层高斯金字塔图像层dw(a,b)表示将a下采样b倍,i′表示第i′层高斯

金字塔图像,Nga表示高斯金字塔图像层层数;

步骤33A2:为了减少高斯金字塔中的冗余信息,需要进一步构建拉普拉斯金字塔,拉普拉斯图像层通过从下至上减去高斯金字塔的两个相邻层而获得:其中, 表示拉普拉斯金字塔图像层;

选取混合修复标签图中L={1,2,3}的部分,分别作为融合掩模,并构建组合金字塔:步骤33A3:将每一层的组合金字塔上采样至原图尺寸并累加,获得第一次修复结果步骤33B:针对相邻帧中无法提供有效修复信息的区域,采用视频修复的联合时空变换网络STTN进行进一步修复,将三帧帧段作为网络输入数据,并将悬浮杂质检测结果区域Sk作为遮挡掩模,对当前帧进行第二次修复,得到第二次修复结果步骤33C:针对 中修复区域部分结构信息被模糊化,造成内部细节缺失的情况,将两次的修复图 与 进行融合,获取最终的修复图像其中,v′为设定的权重系数。