欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2016111896055
申请人: 常熟理工学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种计算机中视频去雾方法,其特征在于,包括如下步骤:步骤1,输入雾霾视频图像序列,基于相邻帧差分的边缘信息幅度核密度估计的信息熵提取视频关键帧;

步骤2,基于边缘幅度信息熵提取关键帧代表性像素点;

步骤3,基于互相关匹配算法和广义对齐算法逐像素配准视频关键帧;

步骤4,基于颜色均值估计大气光照强度和二维核回归优化视频关键帧传播率;

步骤5,基于Catmull—Rom三次样条估计视频非关键帧的传播率;

步骤6,根据大气散射模型,输出恢复后的雾霾视频图像序列;

步骤1包括如下步骤:

步骤1-1,输入雾霾视频图像序列,计算雾霾视频图像序列相邻两帧的亮度通道之差:假设雾霾视频图像序列有N帧,分别为f1,f2,…,fN,fN表示第N帧雾霾视频图像序列,每帧图像从RGB颜色空间转换为YUV空间,通过如下公式计算相邻两帧YUV空间的亮度Y通道之差的绝对值:其中, 分别表示第N-1帧的亮度Y通道和第N帧的亮度Y通道,dN-1表示第N-1帧的亮度Y通道和第N帧的亮度Y通道之差的绝对值,所有N帧的亮度Y通道大小为M1×M2,其中M1和M2分别表示视频帧的行数和列数;

步骤1-2,计算所有亮度Y通道之差的绝对值的边缘幅度信息,dr表示第r个亮度Y通道之差的绝对值,1≤r≤N-1,通过如下公式计算dr中第i行和第j列像素的边缘幅度信息er(i,j):其中,1≤i≤M1,1≤j≤M2, 表示第i行和第j列像素的水平方向边缘,通过如下公式计算表示第i行和第j列像素的垂直方向边缘,通过如下公式计算步骤1-3,计算dr的边缘信息幅度的核密度函数:对于任意一个边缘幅度e,其核密度函数p(e)为:其中, 为一维核函数,变量u的高斯核函数 通过如下公式计算平滑参数s:

其中σ表示边缘幅度集er={er(1,1),er(1,2),…,er(M1,M2)}的标准偏差,边缘幅度集元素根据步骤1-2计算,er(M1,M2)表示第M1行第M2列的边缘幅度;

步骤1-4,基于边缘信息幅度的核密度函数信息熵提取雾霾视频图像序列的关键帧:在边缘幅度集er的最小值和最大值之间以相等步长抽样n1个数据,分别标记为:c1=min(er),c2=c1+Δ,c3=c1+2Δ,…,cn=c1+(n1-1)Δ,其中,步长 n1个数据对应的核密度函数分别为表示cn对应的核密度函数,通过如下公式计算dr的信息熵Hr:如果dr的信息熵大于阈值H0,H0取值为0.1,则雾霾视频图像序列中第r帧fr为关键帧;

步骤2包括:

设雾霾视频图像序列中第r帧fr为关键帧,对边缘幅度集合{er(1,1),er(1,2),…,er(M1 ,M2)}的元素按照降序排序,选出前n2个较大边缘幅度对应位置的的像素点作为代表性像素点,其中 分别表示第r帧中边缘幅度值为第n2大的像素点的横坐标和纵坐标;

步骤3包括:

设雾霾视频图像序列中两个相邻的关键帧分别为 和 r1,r2分别表示相邻的关键帧视频的序号 ,1≤r1 ≤r2≤N , 和 的 代表性像素点的 坐标分 别为和 使用互相关匹配算

法,分别以 和 的代表性像素点为中心选取一个窗口, 作为参考帧, 作为待配准帧,以参考帧 的每个代表性像素点为参考点,在待配准帧 中查找相关系数最大的窗口作为匹配点,其中,相关系数的计算如下:假设 中坐标为 的代表性像素点的窗口内所有亮度组成的向量为Y1, 中坐标为 的代表性象素点窗口内所有亮度组成的向量为Y2,则Y1和Y2的相关系数定义:其中 和 分别表示向量Y1的均值和向量Y2的均值;

依据互相关匹配算法选择出存在对应关系的代表性像素点对,再使用广义对齐算法计算参考帧和待配准帧的平移、旋转和缩放的变换参数,实现两个关键帧之间逐像素的配准;

步骤4包括如下步骤:

步骤4-1,建立视频关键帧的大气散射光照模型:雾霾视频图像序列的关键帧大气散射光照模型为:Ic(p)=t(p)Jc(p)+(1-t(p))Ac,其中,Jc(p)和Ic(p)分别表示无雾视频关键帧像素点p的c通道值和雾霾视频关键帧像素点p的c通道值,c∈{R,G,B},R、G和B分别表示红、绿、蓝三种颜色,t(p)∈[0,1]表示在像素点p的大气光照传播率,Ac表示c通道的大气光照强度;

步骤4-2,进行基于颜色均值向量的视频关键帧大气光照强度估计:大气光照强度的大小设置为常数240,以关键帧的红、绿、蓝三个颜色通道归一化的均值作为大气光照强度的方向,其中 分别表示关键帧的红色通道均值、绿色通道均值和蓝色通道均值,则红、绿、蓝通道的大气光照强度估计值为:其中,AR、AG、AB分别表示红色通道的大气光照强度的估计值、绿色通道的大气光照强度的估计值和蓝色通道的大气光照强度的估计值;

步骤4-3,基于二维核回归的传播率优化:按照Jin-Han Kim提出的基于最优对比度方法初步估计像素点p的大气光照传播率t(p):采用二维核回归方法优化传播率:

假设第i行和第j列像素点的传播率估计值为ti,j,通过如下公式计算在该点半径为w的局部窗口下传播率ti,j的二维核回归函数其中 为二维高斯核函数,计算二维核回归函数 的公式中,分母部分计算为:分子部分计算为:

步骤5包括:

对于雾霾视频图像序列中两个相邻的关键帧 和 设 的前一个关键帧为的后一个关键帧为 配准这4个相邻关键帧 和 估计并优化和 的传播率 基于Catmull—Rom三次样条估计位于 和之间的非关键帧 中对应像素的传播率 为:

其中,r1<k<r2-r1,k取值范围为整数,参数x表示两个关键帧 和 之间的第k个非关键帧,

2.根据权利要求1所述的方法,其特征在于,步骤6包括:将雾霾视频图像序列按照下式恢复输出: