欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 201610130912X
申请人: 长春理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-28
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多传感器融合的低照度视频图像增强方法,其特征在于包括下列步骤:

一、在红外成像传感器和可见光成像传感器固定不变并且同时采集的情况下,采集了一组红外视频和可见光视频,分别读取红外视频和可见光视频的对应帧im1和im2;这里红外图像尺寸576×704,可见光图像的尺寸是640×480;

二、图像的预处理

对于红外图像进行增强,采用的方式就是对红外图像的每个像素点进行取逆,定义一个576×704的单位矩阵E,具体的实施如公式(1);

im1=255*E-im1      (1)

对取逆后的红外图像采用差值滤波的方式进行平滑的处理,对取逆后的红外图像进行差值滤波如公式2所示;

三、极值点尺度空间的生成

通过高斯的差分函数来检测尺度不变的极值点,高斯的差分函数的公式如公式3所示,高斯函数如公式4所示:其中D(x,y,kσ)表示在系数k下尺度为σ的图像的差分高斯金字塔,D(x,y,σ)表示尺度为σ高斯金字塔,I(x,y)表示原图像,表示它们间的卷积,σ为尺度因子,G(x,y,kσ)表示尺度为kσ的高斯函数,(x,y)为图像上点的坐标,把红外图像和可见光图像根据图像的降采样和上采样分别分成尺度不同的σ组,如公式5所示,每组又分成n层,如公式6所示,最后由把红外图像和可见光图像每组的相邻的层进行相减,再把im1和im2分别带入公式3中的I(x,y),从而由公式3检测到红外图像和可见光图像不同尺度的极值点。

n=log2{min(M,N)-t},t∈[0,log2{min(M,N)}]     (6)这里M,N分别为图像尺寸值,对于红外图像来说,M为576,N为704,对于可见光图像来说,M为640,N为480;

四、极值点的定位

根据上面所检测到的极值点,对红外图像和可见光图像分别进行比较,进而得出相应的极值点,对于每一层的差分高斯金字塔和上下两层分别进行比较,为了寻找差分高斯金字塔上的关键点的位置和尺度,把差分高斯金字塔图像上检测出的任意一特征点作为3×3窗口中的中心点,然后再取与该层对应的上下两层的差分高斯金字塔的3×3的窗口,比较中心点的值是否比其邻近的或是上下窗口中对应的任意一点共26点的值大,如果是的话那么该点被认为是极大值点,否则不是,从而得出关键点的位置和尺度;

五、特征点的描述符

1)计算每个极值点的主方向;图像主要根据每个极值点邻域的梯度方向直方图来计算极值点的方向,具体的方法就是把极值点的邻域分成0-360度,把他们进行等间隔的划分,间距为10度,所以一共分成了36柱,根据每个柱的统计值,把最大的值作为主方向,把具有主方向能量80%的作为辅方向;

2)计算每个极值点的描述符,在得到了两幅图像的特征点后,取每个特征点邻近的16×16窗口,在这个窗口内又划分了4×4个区域,每个区域由4×4个像素点组成,对于可见光图像由于每个像素点有一个主方向和一个辅方向,因而计算每个区域的8个方向的梯度方向直方图,并对每个方向的梯度值进行累加,累加之后的8个方向的梯度值作为一个种子区域,这样一共得到了16个种子,128维向量,但是由于红外图像和可见光图像的差异性,特征点附近的局部图像的性质是不一致的,对应的特征点的方向也许几乎是一致的,但梯度值却有着很大的不同,因此在对于红外图像进行8个方向的梯度值累加时选着加权平均的方式进行累加;

六、特征点的匹配

由步骤四得到红外图像任意一个极值点的坐标(x',y'),可见光图像上检测出的所有的极值点的坐标为(X1,Y1)、(X2,Y2)…(XN,YN),找到原图像和待配准图像中余弦的最小值,从而得到一组对应的匹配点,计算过程如公式7所示:min(arctan(x'-X1,y'-Y1),arctan(x'-X2,y'-Y2)......arctan(x'-XN,y'-YN))   (7)把红外图像上每一个极值点都重复做公式7的计算,因而得到两幅图像对应的匹配点;

七、转移矩阵的生成

当得到了两幅待配准图像的特征点之后,通过投影变换的公式(5)来求出两幅图像之间的变换关系,然后结合ransac算法去除误匹配点,进而从ransac算法中能够求得一个精确的转移矩阵。

把中间变换的矩阵称为H,其中H有8个自由度,即h0,h1.....h88个未知的参数,至少有四组对应的点就能求出H,把公式5进行变换得到了公式9:从公式6能够看出未知的变量有8个,所以至少要有8个独立的线性方程才能解出这8个未知的变量,即至少要确定出4组对应的点,来能求出转移矩阵H,通过H矩阵便能得出目标图像在参考图像中的对应坐标,从而为图像的融合打下了很好的基础;

八、转移矩阵的精化

在改进的sift算法的基础上结合ransac算法,从而在ransac算法得到的模型中求出一个精确的变换矩阵H,应用ransac该算法,执行的一定的次数,称它为迭代次数k,参数t和d的值都是通过反复的实验进行确定的,但是参数k的值可以通过公式10求出:其中p的值为在任意的一组迭代过程中,从所有的数据中随机选出的一个点是正确的数据点的概率;w为任意一次从所有的数据集中选取一个正确的数据点的概率;n为所有数据点的个数,假定它们都是独立的;

九、图像的融合

从上面所得到的配准参数就可以得到两幅图像的变换关系,首先通过步骤可以把两幅图像(576×704,640×480)对应的特征点求出,然后根据得到的对应的点得到:根据上面的ur,vr产生一个以ur为行,vr为列的矩阵u,以及vr为行,ur为列的矩阵v,然后把576×704的图像在对应的点(u,v)的值给到一个矩阵im1_里,同样的原理,根据上面求得的u和v以及对应的转移矩阵H便可得到:根据上面的u_,v_,把M1×N1的图像在对应的点(u_,v_)的值给到一个矩阵im2_里,这样便可得到两幅对应的插值图像,因此他们的融合图像为:fusion=α*im2_+β*im1_        (13)

这里的α的值只要表示了一天24小时当中不同的时间段可见光图像的融合系数,根据可见光图像的亮度来决定α的值,通过反复的实验我们可以确定一个阈值T,如果可见光图像的平均亮度大于T,则认为是白天,此时α的值是1,反之,则把可见光图像的所有亮度值进行排序,去除前20%的亮度值的点,取剩下亮度值的和和总亮度值的比值作为α的值,β的值为1-α;因此,根据公式13就能得到融合后图像,由于算法的简洁性,图像的融合已达到了实时的效果;

十、对于视频的实时处理主要是把视频图像中的每帧根据步骤八得到的精确的转移矩阵H进行配准,配准之后的两幅图像根据公式9和公式10来进行插值,最后用公式11进行融合。

2.根据权利要求1所述的一种基于多传感器融合的低照度视频图像增强方法,其特征在于步骤八中应用ransac算法的步骤如下:

1.通过已知数据中的任意的四组点来确定一个假设的模H;

2.用剩下的数据来验证假设的模型,如果某个数据能够根据该模型得到正确的匹配点对,则认为该数据是正确的,否则就认为是错误的;

3.然后对所有的数据进行分析,如果有一定量(d)的正确的数据,则认为该假设的模型是合理的,否则是不合理的;

4.接着在正确的数据中任意选择4组数据来重新假设一个模型;

5.最后,本文通过每个假设的模型的正确的数据个数与错误率(t)来进行评价,进而选择一个最佳的模型。