欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2014107278959
申请人: 中国矿业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种大场景视频图像拼接方法,其特征在于,包括以下步骤:

步骤A、采集两路拍摄场景有重叠的两路视频数据;

步骤B、对所述两路视频数据提取两幅背景图像,计算所述两幅背景图像间的单应性变换矩阵,通过所述单应性变换矩阵确定所述两幅背景图像的重叠背景区域;利用背景变换矩阵对所述两幅背景图像进行变换、拼接、融合得到当前帧的背景拼接图像;

步骤C、逐帧对所述两路视频数据提取两幅前景图像;对在所述步骤B中的重叠背景区域的前景图像提取特征点并匹配,利用匹配的特征点位置关系对所述步骤B中的所述背景变换矩阵中的图像平移参数进行调整,得到前景图像的变换矩阵,通过所述前景变换矩阵对所述两幅前景图像进行变换、拼接、融合,得到当前帧的前景拼接图像;

步骤D、将所述前景拼接图像与所述背景拼接图像合成所述当前帧的拼接图像,输出所述拼接图像;其中,所述步骤B中的所述对所述两路视频数据提取两幅背景图像,计算所述两幅背景图像间的单应性变换矩阵,通过所述单应性变换矩阵确定所述两幅背景图像的重叠背景区域,具体包括以下步骤:步骤B1、对所述两幅背景图像进行特征提取;

步骤B2、提取所述两幅背景图像中各自背景图像的特征点,并进行匹配,应用随机采样一致算法剔除误匹配的特征点对,得到左图特征点X匹配的右图特征点X′;根据匹配点位置关系,计算初步的单应性变换矩阵M;

步骤B3、对所述步骤B2中得到的所述变换矩阵进行迭代求精,得到精确的背景变换矩阵步骤B4、利用所述背景变换矩阵将所述两幅背景图像中的右路背景图像变换投影到所述两幅背景图像中的左路背景图像中,得到:其中,x、y代表右路视频背景图像中点坐标点,其投影到左路视频背景图像的点坐标为x′、y′,Hb为背景变换矩阵,参数b00、b01、b10、b11控制尺寸变换和旋转变换,b20、b21分别控制水平方向缩放、竖直方向位移缩放,b02、b12分别控制水平方向、竖直方向位移;

步骤B5、采用加权平均法融合得到所述两路视频数据的背景拼接图像;

步骤B6、利用所述背景变换矩阵,将所述右路背景图像的左上角、左下角的变换投影到所述左路背景图像的位置点与所述左路背景图像的右上角、右下角位置点,该四个位置点构成的四边形内区域为所述左路背景图像中与右路背景图像的重叠区域;其中,所述左路背景图像的右上角、右下角的投影变换到左路背景图像的位置点与所述右路背景图像的左上角、左下角位置点,该四个位置点构成的四边形内区域为所述右路背景图像中与所述左路背景图像的重叠区域,确定所述右路背景图像与所述左路背景图像的重叠区域;

其中,在步骤B3中,通过标准的SIFT特征点提取技术得到的两幅图像的匹配SIFT特征点对,使用随机采样一致算法对匹配点对进行筛选,剔除误匹配的特征点对;具体实现方法如下:(1)从以上匹配的SIFT特征点对中随机抽选4对不同的匹配点对组成一个RANSAC样本;

(2)根据这4对匹配点位置关系,结合公式(3)计算变换矩阵M;

X=MX′                    (3)

其中,X,X′分别代表左、右背景图中匹配特征点的位置;

(3)根据样本集,变换矩阵M,和误差度量函数,其他匹配点位置关系是否符合当前变换矩阵M关系,即满足公式(3),得到当前变换矩阵的一致集,并返回一致集中元素个数;

(4)根据当前一致集中元素个数判断是否最优一致集,若是则更新当前最优一致集;

(5)更新当前错误概率P,若P大于允许的最小错误概率则重复(1)至(4)继续迭代,直到当前错误概率P小于最小错误概率0.99;

步骤中的当前错误概率P由公式(4)计算得到:

P=(1-pk)s                              (4)式中,p为随机选择一对匹配点为正确匹配点的概率,k为每次随机选择的匹配点数,这k里k=4;每次选择k对匹配点,都属于内点的概率为p,因此重复迭代S次以后依然都没有得到内点集为每次随机选择k对匹配点都不全是内点的概率,即为错误概率P。

2.根据权利要求1所述的方法,其特征在于,所述步骤C具体包括如下步骤:步骤C1、使用3帧差法得到表示前景区域的二值图像,用于标识图像前景背景;

步骤C2、对于落在所述步骤B中得到的背景重叠区域的左右两路前景图像部分进行特征点提取,匹配,左图特征点L与其匹配的右图特征点R,R投影到左图点R′,坐标位置分别为(xLn,yLn)、(xRn,yRn)、(x′Rn,y′Rn),对背景变换矩阵Hb中平移参数进行调整,得到前景变换矩阵Hf;如果得不到足够数量的匹配点,前景变换矩阵简单的用背景变换矩阵替代;

步骤C3、根据得到的前景变换矩阵对前景区域图像进行拼接、融合。

3.根据权利要求1所述的方法,其特征在于,所述步骤D具体包括如下步骤:步骤D1、遍历背景拼接图像中每一个图像点;

步骤D2、判断每个图像点在前景拼接图像中对应位置的图像点的亮度值是否为0;若不为0,则该图像点位置属于前景区域,将该图像点的RGB值替换为前景拼接图像中对应位置的图像点的RGB值;若为0,则该图像点位置属于背景区域,该图像点的RGB值保持不改变;

步骤D3、对前景拼接图像和背景拼接图像合成当前帧的拼接图像,输出拼接视频。

4.根据权利要求1所述的方法,其特征在于,对前景变换矩阵的计算间隔N帧进行,N帧共用同一个前景变换矩阵。

5.根据权利要求1-4任一所述的方法,其特征在于,所述方法还包括:通过设定间隔时间对所述背景拼接图像进行更新。