1.一种基于金字塔遮挡检测块匹配的鲁棒插值光流计算方法,其步骤如下:
1)首先进行金字塔遮挡检测块匹配得到稀疏的鲁棒运动场:(1)对连续两帧图像通过下采样因子构成k层图像金字塔,在每一层金字塔中构建种子l
块{s};
(2)创建好图像金字塔和种子块后,在每一层金字塔进行块匹配,步骤如下:I.初始化:每一个种子块分配一个随机匹配;
II.邻域传播:比较匹配块的相似度,选取最大相似度的匹配块;
III.随机搜索:在当前最优匹配附近随机试探,寻找更优匹配;搜索半径r开始为每一层图像的尺寸,然后以1/2的收敛速度减少半径,直到r=1;
(3)在每一层块匹配结束后,进行前后一致性检测:将前后项匹配结果进行一致性比较,获取带有初始遮挡的匹配结果;
(4)通过基于变形误差的遮挡检测算法,得到遮挡检测信息;
(5)前后一致性检测结束后,将匹配结果超像素分割并聚类,进行双边滤波,获取带有边缘信息以及初始遮挡信息的匹配结果;
(6)输入遮挡检测结果,进行遮挡信息判断:中心像素点的邻域像素与遮挡信息进行同或运算,相邻像素判断为遮挡点个数过半数后,中心像素点为遮挡点,否则为非遮挡点;通过优化前后一致性遮挡检测结果,得到该层金字塔最终带有准确遮挡信息的匹配结果fl
(s),公式如下:
l
式中:No为被判断遮挡点个数,N为相邻像素点总数,s为中心像素点;
l
(7)上一层得到的匹配结果f(s)作为下一层块匹配的初始化:进行迭代运算,在第k层得到匹配结果为最终匹配结果M;
2)由匹配得到准确的稀疏匹配结果,需要经过鲁棒插值算法获取稠密光流;
(1)超像素分割参考帧图像I1得到K个超像素块sk;
(2)将分割后的图像抽象成一个无向图G=(V,E)。由边缘算法BCDN得到的运动边缘作为代价图,计算相邻超像素之间的测地线距离(3)基于超像素集合{sk}和匹配结果M,生成超像素匹配;具体方式为,对超像素块sk内所有有效地匹配点取中值;然后经过最近邻插值得到稠密光流;
3)由鲁棒插值算法得到稠密光流后,经过全局能量泛函变分优化稠密光流:T
上式表示求解光流场w=(u,v,1) 的全局能量泛函,M(u,v)表示数据项, 表示平滑项,其中 表示空间梯度算子,平滑项权重系数 经过全局能量泛函变分优化得到最终光流。