1.雾霾模糊视频图像高速兼容转码清晰化方法,其特征在于,基于H.264雾霾视频快速转码架构,通过全映射算法对雾霾视频转码解析,分解去雾算法对宏块模式的作用,构建H.264雾霾视频的快速兼容转码方法,在确保几乎不影响视频质量的条件下,加快整体转码的速度;
本申请在级联式的转码架构中增加去雾模块实现H .264雾霾视频的快速兼容转码方法,利用转码前后码流数据的关联性,重用解码过程中所获得的运动矢量以及编码模式信息,加快二次编码的速度;
本申请解析去雾算法对雾霾视频宏块模式的作用规则,然后基于解析的规则对雾霾视频转码的宏块模式作相关映射,进而构建雾霾视频快速转码算法,通过重用解码的模式信息,对原有的SKIP、帧间和帧内模式在转码前后的宏块模式映射关系进行精简,保留占比较大的宏块模式,删减占比较低的宏块模式,从而得到三种模式的不同映射策略,针对SKIP模式,协调利用转码前后视频图像中SKIP宏块梯度比和帧差来将雾霾视频中SKIP宏块的模式映射关系分为两类,即分别映射为原SKIP模式和帧间模式;针对帧间模式,除去P8×8及以下的模式按全遍历策略映射外,其余的帧间模式都采取保留初始模式的一一映射策略,针对帧内模式,按全遍历策略进行模式映射,经过以上的模式映射之后,实现对宏块模式的快速设置过程,最后,采用拉格朗日率失真优化策略计算所有备选模式的率失真代价,设置代价最小的模式作为最佳的宏块映射模式,确保视频质量的同时实现雾霾视频快速转码。
2.根据权利要求1所述雾霾模糊视频图像高速兼容转码清晰化方法,其特征在于,快速转码算法流程:在模式设置模块中,首先雾霾视频经过H.264解码器进行解码,获得的编码模式信息和运动矢量信息被保存下来,然后对这些编码模式进行类型判断,如果是帧内模式,则在做去雾处理之后再重编码时,编码模式的设置按照对所有可能的备选模式依次作遍历的策略进行,如果是帧间模式,则在做去雾处理之后再重编码时,编码模式的设置按照相对应的帧间模式映射关系设置合适的模式作为备选模式,如果是SKIP模式,则还需要判断去雾后视频图像相邻帧中对应位置上SKIP模式宏块的帧差,或者去雾前的视频图像中SKIP模式的宏块的梯度值与去雾后的视频图像中相对应位置的宏块的梯度值之比是否分别大于设定的临界值,如果梯度比或帧差大于其对应的临界值,那么该视频属于去雾前后为未出现异常情况的视频或去雾后本应该却未被编码成帧间模式的异常视频,则其SKIP模式在重编码时被编码成P16×16帧间模式,如果梯度比和帧差都小于其对应的临界值,那么该SKIP模式在去雾前后无发生变化,即保留初始SKIP模式进行编码;
在对帧内模式、帧间模式和SKIP模式作了以上备选模式的优化抉择之后,再对这些备选模式按照拉格朗日率失真优化策略作最优处理,即遍历已经做了模式设置的备选模式,将率失真代价最小的当作最佳的编码模式;经过以上这些编码模式的设置,实现模式设置模块的所有任务。
3.根据权利要求1所述雾霾模糊视频图像高速兼容转码清晰化方法,其特征在于,H.264雾霾视频快速转码架构:先将H.264格式的雾霾码流传入解码器中,经过解码后,得到格式为YUV的缓存码流,然后经过中间视频去雾环节处理,再对去雾后的YUV缓存码流进行重编码获得去雾后的H.264格式的码流,整个过程中,编码器利用从解码端所获得的数据信息做快速编码处理,从而使得各个模块组合在一起,构成H.264雾霾视频快速转码架构。
4.根据权利要求1所述雾霾模糊视频图像高速兼容转码清晰化方法,其特征在于,分解去雾算法对宏块模式的作用:
对于帧间模式的宏块,雾霾视频中纹理较明显或者复杂的部分,设置帧间模式编码,因而在对其进行去雾后,视频图像变得清晰可见,采用向下递进的方式判断编码模式,把简单模式进一步划分,增加更多的备选模式;从另一个角度,视频中紧邻两帧图像在时间域上的关联性更强,对它们进行编码时,采用帧间模式要比帧内模式所需比特流少,同时还能把失真度降低到最小,在进行去雾再编码过程中,相邻两帧图像被编码成帧内模式的可能性很低;
对于帧内模式的宏块,它们在去雾前后的视频图像中所占比例很小,而且它们在空间域上的关联性更强,在去雾后再进行编码的过程中,被编码为帧间模式的可能性远小于被编码为帧内模式的可能性;鉴于以上帧内模式的两个特征,对帧内模式进行遍历,保证编码压缩性能达到最好,去雾后的视频质量也最好,同时也不占用太多比特流;
最终在对去雾后的视频再次编码过程中,分三种不同的编码模式映射关系,分别处理。
5.根据权利要求4所述雾霾模糊视频图像高速兼容转码清晰化方法,其特征在于,第一种编码模式映射计算模型:雾霾视频fog1在经过单尺度Retinex算法下的全解全编算法处理后,其前后编码模式对应的映射关系和比例得出,对其进行解码之后,获得了大量的SKIP宏块,它所对应的SKIP模式的数量占据了整个视频宏块模式总量的二分之一,另外,随着宏块划分得更加精细,其模式越来越复杂,但其数量越来越少;
这种场景的雾霾视频在去雾前后,除初始编码模式为SKIP模式,映射为宏块划分较大的帧间模式外,其它初始的帧间模式,是一一对应关系。
6.根据权利要求4所述雾霾模糊视频图像高速兼容转码清晰化方法,其特征在于,第二种编码模式映射计算模型:
雾霾视频fog5全解全编算法处理后,原雾霾视频中存在大量的SKIP宏块和P16×16宏块,二者均占据了整个视频宏块总量的三分之一左右;
对该类视频进行去雾处理后,信息内容较多的纹理区域被清晰的显现出来,其对应的编码模式是宏块划分较精细的模式,信息较少的平坦区域和背景较深的地方,则保留初始模式,以便降低比特率,这种场景的雾霾视频在去雾前后,其初始编码模式为SKIP模式,除保留部分初始SKIP模式外,其余大部分映射为宏块划分较粗糙的帧间模式,初始编码模式为其它帧间模式的,则是一一映射的关系。
7.根据权利要求1所述雾霾模糊视频图像高速兼容转码清晰化方法,其特征在于,SKIP模式分级映射:判定初始SKIP模式被映射为SKTP模式或P16×16帧间模式的具体条件,两种情况导致初始SKIP模式被映射为P16×16帧间模式;
第1种是去雾后整个视频正常,视频内容中的纹理细节由于雾霾被去除而得以清晰显现,这种情况下,初始SKIP模式被编码为较为复杂的帧间模式才能在编码效率更高的同时使得视频质量达到比较好的水平;
第2种是去雾前后视频相邻帧之间宏块模式映射错误而导致去雾后相邻帧之间出现亮度不一致,通过解析该区域中SKIP宏块的模式信息,该宏块初始模式为SKIP模式,所在位置平滑,无纹理变化,在重编码时被编码成SKIP模式而不是帧间模式。
8.根据权利要求7所述雾霾模糊视频图像高速兼容转码清晰化方法,其特征在于,针对第1种去雾后视频内容中纹理变化的情况,利用图像梯度来进行判定;针对第2种视频相邻帧亮度不一致的情况,利用帧差来进行判定;
采用梯度模版计算图像梯度,模板如式1所示:
△fx(x,y)=f(x,y)‑f(x‑1,y‑1)△fy(x,y)=f(x‑1,y)‑f(x,y‑1)
对一幅数字图像f(x,y),式1中的第一个式子是图像中当前像素点沿x轴的梯度,第二个式子是图像中当前像素点沿y轴的梯度,第三个式子则是所求像素点的梯度;
通过计算每一类视频相邻两帧图像在去雾前后其像素值的梯度值来剖析它们纹理的分布以及强度;在雾霾天气下拍摄的视频,其许多纹理较浅部分被雾霾所掩盖,其梯度值小,另外,光滑平坦区域变化小,梯度值是0,而纹理较强部分在雾霾天气下,其梯度值较大,在去雾后的视频中,大量细节呈现,纹理相差较大的部分,其梯度值变化较大,通过图像梯度公式计算出每类视频在去雾前某一帧图像中SKIP宏块的梯度值以及去雾后同一帧图像上所对应的宏块的梯度值,然后分别取和,再求平均值,最后得到它们的比值,同时,计算每类视频在去雾前某一帧图像中SKIP宏块的梯度值与去雾后的同一帧图像中所对应的每个宏块的梯度值之比,然后求和,再求平均值;
本申请以初始雾霾视频相邻帧中SKIP宏块的帧差值为参照,通过将去雾之后所对应位置上的宏块帧差值大小与预设的临界值进行比较,以判断出初始雾霾视频当前帧中SKIP模式在编码时是应该被映射为初始SKIP模式还是帧间模式,如果帧差大于临界值,则说明初始SKIP模式应该被映射为帧间模式,同时去雾前初始SKIP宏块处的纹理细节本就较简单,而在去雾后该处的纹理细节并无明显变复杂,只是被增强而得以清晰显现而已,只需要用划分简单的P16×16帧间模式编码即可,并不需要使用划分更精细的帧间模式,对于纹理细节较为复杂的位置,去雾前被编码为帧间模式,在去雾后并不会改变其模式类型,只是随着纹理细节的显现和增多而需要划分更精细的帧间模式进行编码,反之,如果帧差小于临界值,则说明初始SKIP模式应该被映射为SKIP模式,同时该位置的纹理细节相对原来几乎无变化,为了使编码码率和计算复杂度都尽量小,在编码时便直接设置初始SKIP模式进行编码。
9.根据权利要求8所述雾霾模糊视频图像高速兼容转码清晰化方法,其特征在于:针对去雾后相邻两帧亮度不一致的情况,通过求取正常情况下这两帧图像在去雾前后相应位置SKIP宏块的帧差值来区分该情况下初始SKIP模式的映射方法:正常情况下,在去雾之后,相邻两帧中对应位置的SKIP宏块帧差相对于去雾前同样的相邻两帧中SKIP宏块的帧差变化小,帧差变化区间从去雾前的0.00~2.03到去雾后的0.00~38.21,即去雾后相邻两帧的帧差绝对值在以上范围之内都属于正常情况,即去雾后这些宏块应该被编码成SKIP宏块模式,否则被编码为帧间模式。
10.根据权利要求1所述雾霾模糊视频图像高速兼容转码清晰化方法,其特征在于,帧间和帧内模式分组映射:
对去雾后帧间和帧内模式进行优化精简,基于三种宏块映射模式,对于帧间和帧内模式都采用映射关系进行编码;对于宏块较大的帧间模式采用一一映射的方式,包括初始P16×16模式在去雾转码后保留其初始模式P16×16,对于更小的模式,包括P8×8等以下的模式则采用全遍历方式进行二次编码,经过简化模式映射之后,加快编码模式的设置速度;
在进行编码模式的简化映射时不对帧内模式做删减处理,采用对帧内模式进行全遍历方式;
最终确定针对单尺度优化Retinex精简后的快速编码模式,即保留去雾前后比例较大的帧间模式,删除在去雾前后占比较小的帧间模式,同时对P8×8以下以及帧内模式进行全遍历的模式映射方式,在保持主观和客观质量均在可接受的误差范围里,最大限度加快转码速度。