欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023109074527
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于图像去雾的中高能见度计算方法,其特征在于:所述中高能见度计算方法包括如下步骤:步骤1、估计全局大气光A:取一张图像,估计该图像的全局大气光的数值大小;

步骤2、构建Defog‑GAN去雾网络模型对单雾霾图像进行去雾处理,获得能见度好的去雾图像J,其中:获得去雾图像J具体包括如下步骤:步骤201、像素聚类:按颜色对图像中的像素进行聚合分类,具体为:使用K‑means算法将一幅图像的RGB像素值聚类为500个聚类,并将图像中的每个像素替换为其所属聚类的中心像素;

步骤202、构建Defog‑GAN去雾网络模型,所述Defog‑GAN去雾网络模型由生成器和判决器两个部分组成,生成器整体模型包括编码器、中间层和解码器,所述判决器采用双判别器结构,包括本地鉴别器和全局鉴别器;

步骤3、计算透射率图t(x):透射率图t(x)为去雾图像各个像素点的透射率分布情况,是通过步骤1求出的全局大气光A和步骤2求出的去雾图像J与采集的有雾图像I代入雾气退化模型式直接求出的,即其中x是图像像素的空间坐标;

步骤4、能见度计算:采用微型激光雷达对场景深度进行测量,使用近值合并动态权值多层输入式反向传播感知器网络进行处理,输出能见度值,能见度计算具体包括如下步骤:步骤401、深度图的计算:采用微型激光雷达对场景深度进行测量,在摄像头中集成微型激光雷达,根据摄像头的广角信息调整激光雷达的发射范围,使两者保持一致,同时提前获取相机镜头畸变信息,利用棋盘格作为标定板计算畸变参数,对采集的图像进行畸变恢复,便于下一步的深度获取;

步骤402、近约能见度计算:

能见度V与消光系数α的关系如下:

将式 代入式 得

V表示所求的能见度值,x是图像像素的空间坐标,L(x)是该点的深度,即该点物体到摄像机的距离,t(x)是该点的透射率值;

步骤403、实用近值合并动态权值多层输入式反向传播感知器网络进行处理,输出能见度值,其中,所述感知器网络包括一个气象因子输入层、多个近约能见度输入层、若干层隐藏层和一层输出层,所述近约能见度输入层与所述隐藏层的层数相同,近约能见度输入层的各层按照正态分布进行划分,将近约能见度的区间等间隔划分成若干个子区间,子区间按照累计随机变量数值进行降序排序,排序后的近约能见度区间值依次作为各层的输入,同时随着层数的递增,相应近约能见度输入层的加权系数递减,各层采用动态权值进行迭代,即从上一层权值调整量取出一部分叠加到本次权值调整量中。

2.根据权利要求1所述的一种基于图像去雾的中高能见度计算方法,其特征在于:在所述步骤202中:所述编码器采用特征金字塔结构,所述特征金字塔结构自下向上呈现出一条路径,通过卷积网络进行特征提取,并对空间分辨率进行下采样,其中:自下向上路径包括四个卷积池化层、一个卷积块以及六个多头自注意力前馈层,所述卷积池化层包括一个1xn卷积层、一个nx1卷积层和一个最大池化层,所述多头自注意力前馈层由多头自注意力机制和基于位置的前馈神经网络构成;

所述中间层包括特征增强模块、1x1卷积模块和一个门控注意力机制,所述特征增强模块由尺度分离模块、负值归零模块、高斯滤波模块和尺度融合模块组成,所述门控注意力机制使用辅助网络动态地选择要参与的元素子集,并计算注意力权重以聚合所选元素;

所述解码器包括上采样层、反卷积层、全连接层和选择层,其中所述选择层由BN层、ReLU层和卷积层组成,解码器将编码器提取的特征进行反卷积,根据特征图形进行重构。

3.根据权利要求1所述的一种基于图像去雾的中高能见度计算方法,其特征在于:在所述步骤202中,所述生成器的目标损失函数由像素双向即水平、垂直梯度损失、深度损失、色调差异损失和能变比损失的加权组成,公式如下:LG=λEgLEg+λdLd+λHLH+λEnLEn

其中:LEg为双向梯度损失即构雾像与输入雾像在水平、垂直方向上梯度差的L2范数,Ld为深度损失即重构雾像与输入雾像在景深上的L1范数损失,LH为色调差异损失即重构雾像与输入雾像在色调差异上的损失,LEn为能变比损失,即一种用于度量重构雾像与输入雾像在能变比上的L1范数损失的方法,λEg、λd、λH、λEn分别为双向梯度损失、深度损失和色调差异损失的加权系数,Ld损失定义如下:

Ld=∑w,h||dJ(x)w,h‑dI(x)w,h||1;

LH损失定义如下:

LH=∑w,h||H(J)w,h‑H(I)w,h||1;

能变比为图像能量的低频部分占比,即 Ei,j|low为图像能量低频部分,Ei,j|low的计算方法为:首先对图像进行傅里叶变换,然后进行频谱中心化处理,接着利用无增益单位阶跃函数对高频低频部分进行频率分离,对分离出的低频图像进行去中心化、反傅里叶变化处理,最后对该图像灰度分布进行统计,按照概率分布计算灰度方值,从而求得低频部分能量,对整幅图像进行灰度分布统计,按照概率分布计算灰度方值图像,即可计算出图像总能量Ei,j。

4.根据权利要求1所述的一种基于图像去雾的中高能见度计算方法,其特征在于:在训练Defog‑GAN去雾网络模型之前,单独使用训练数据对编码器进行预训练,具体包括如下步骤:步骤2021、使用真实的成对雾霾图像数据集,并按照一定比例将数据集分成训练集和测试集;

步骤2022、在训练过程中,将输入图像尺寸统一,然后输入到网络编码器中,图像经过卷积池化层和卷积块后,输出五种不同尺度的特征图,并对其进行标准化;

步骤2023、将步骤2022中特征图分别划分为一个个大小相等的块,并编码为一个输入序列,每个块的特征向量通过多头自注意力机制进行交互和融合,以捕捉不同块之间的语义信息。

5.根据权利要求4所述的一种基于图像去雾的中高能见度计算方法,其特征在于:所述步骤2022中的特征图中间层用以特征增强,具体步骤为:先对上一步提取的每一层的特征图进行尺度分离,并进行负值归零操作,然后,对处理后的图像进行高斯滤波和再次负值归零,最后尺度融合获得初步增强图像,再与原始图像进行融合,获得增强图像。

6.根据权利要求1所述的一种基于图像去雾的中高能见度计算方法,其特征在于:对步骤3的透射率图t(x)进行优化处理,具体包括如下步骤:步骤301、透射率图t(x)的修正,具体为:

根据式 得到下面的大小关系:

由上式计算出透射率的一个下界

定义IA(x)表示I(x)与A的差值,即

lA(x)=I(x)‑A=t(x)*[J(x)‑A]

将IA(x)转换为球坐标系中,所述球坐标系以A作为球心,即

r(x)=t(x)||J(x)‑A||

||J(x)‑A||表示J(x)和A的距离,当透射因数t=1时,最大半径坐标为:rmax=||J‑A||max,其中

在所述球坐标系中寻找一个距离最大的点,由该点计算出的r作为rmax值:由r(x)=t(x)||J(x)‑A||、rmax=||J‑A||max和 得t(x)另一个下限结合 和 对透射率图进行修正:

步骤302、对透射率图t(x)进行平滑处理,具体为:

步骤3021、使得下式 最小化:

ωx表示x的周围的像素点组成的集合,最小化相邻像素的传输率的差值,得到更平滑的透射率图;

步骤3022、借助图像处理的均值滤波思想对步骤3021得到的透射率图进行处理,具体为:采用(2n+1)*(2n+1)的滑动窗口,对窗口内区域进行均值化,使得 最小化:t(x,y)表示某一像素点在透射率图中的透射率值,通过步骤3022平滑掉透射率图中同一细分区域内出现的间断跳跃点;

步骤3023、采用积分图形式对区域进行平滑处理:

最小化变为

7.根据权利要求1‑6任一项所述的一种基于图像去雾的中高能见度计算方法,其特征在于:所述步骤1估计全局大气光A具体包括如下步骤:步骤1‑1、取一张图像,首先将图像为R、G、B三色图像,将三色图像等宽等高地切割成

16x16个子图像,每个子图像对应原图像的不同局部区域;

步骤1‑2、对所有子图像的直方图灰度分布进行计算,对于每个子图像,只保留其中灰dark度值最小的RGB通道,对这些保留的子图像进行二次筛选,选取暗通道I 中灰度值最大的前0.1%的点,将这些点映射回原图像获得原图像相应的点集合,所述点集合的灰度值大小的平均值即为该图像的全局大气光的数值大小。

8.根据权利要求1所述的一种基于图像去雾的中高能见度计算方法,其特征在于:所述中高能见度计算方法方法通过中高能见度计算系统实现,所述中高能见度计算系统包括:全局大气光估计模块:该模块将图像分为R、G、B三色图像并对三色图像切割成子图像,对所有子图像的直方图灰度分布进行计算,保留其中灰度值最小的RGB通道,并对保留的子dark图像进行二次筛选,选取暗通道I 中灰度值最大的前0.1%的点,将这些点映射会原图像获得原图像的点集合,该点集的灰度值大小即为该图像的全局大气光的数值大小;

图像去雾模块:包括像素聚类子模块以及Defog‑GAN去雾子模块,像素聚类子模块使用K‑means算法将一幅图像的RGB像素值聚类为500个聚类,并将图像中的每个像素替换为其所属聚类的中心像素,Defog‑GAN去雾子模块,采用非对称卷积特征金字塔结构作为编码器主干,多头自注意力前馈层作为特征提取,采用图像增强模块和GA‑Net门控注意力机制作为编码器与解码器的中间层,解码器包括上采样层、反卷积层、全连接层和选择层,其中选择层由BN层、ReLU层和卷积层组成,其中生成器损失函数由双向梯度损失、深度损失、色调差异损失和能变比损失的加权组成;

透射率图生成模块:包括修正子模块和平滑子模块,修正子模块用于初步透射率图根据下限进行偏值修正,平滑子模块用于平滑透射率图,防止透射率图中同一细分区域内出现间断跳跃点;

特征融合能见度输出模块:包含近约能见度的分层输入以及相关气象因子的输入,近约能见度由深度图与透射率图生成模块生成,由推导出的能见度与像素透射率、像素深度信息的关系,即可计算输出近约能见度值,再通过近值合并动态权值多层输入式反向传播感知器网络融合特征,输出能见度。