欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020101603711
申请人: 南昌航空大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于优化语义分割的图像序列光流计算方法,其特征在于它包含如下步骤:一、输入连续两帧图片,利用去均值归一化光流模型计算连续两帧间的前景后景光流,模型如式(1)所示:E(u,v)=λ·Edata(u,v)+Esmooth(u,v)       (1)式(1)中数据项Edata能量泛函如式(2):

式中u是光流的水平方向分量;v是光流的垂直方向分量;ui表示像素i的光流的水平方向分量;vi表示像素i的光流的垂直方向分量;Ω={(x,y)|1≤x≤N,1≤y≤M}代表图像中T的所有像素点集合;k代表图像金字塔的层数;wi=(ui,vi) 表示像素i的光流值;C(·)代表匹配块之间的去均值归一化;

平滑项Esmooth(u,v)为:

式中:

代表像素i的邻域像素;Ω代表图像中的所有像素点集合;bfi,s代表平滑项权重,表示像素i和s属于同一物体的可能性;i和s属于同一个对象时bfi,s接近于1,如果该度量值bfi,s接近零,忽略该像素;bfi,s的计算公式如下:式中Δc(i,s)为的i和s之间的Lab颜色空间距离;Δd(i,s)计算的i和s之间的位置距离;σc和σd代表相似性测度系数;

二、输入连续两帧图片,利用Deeplabv3+语义模型分割出连续两帧的标签图;

三、将步骤一计算出的光流以及步骤二的标签图作为输入,利用全连接分层算法,得到优化分割图像,式(5)为全连接局部分层模型:其中,式中u是光流的水平方向分量;v是光流的垂直方向分量;g代表物体所属的标签类别;θ表示输出运动模型的参数;I表示输入图像的灰度;k表示像素所在的图层,k∈{1,

2};t表示当前帧时间序号,t+1表示下一帧时间序号;λtime表示时间项系数;λspace表示空间项系数;gt代表当前帧像素的语义标签;gt+1代表当下一帧像素的语义标签;ut代表当前帧的光流的水平方向分量;vt代表当前帧的光流的垂直方向分量;

数据项Edata公式如下:

其中ut代表当前帧的光流的水平方向分量;vt代表当前帧的光流的垂直方向分量;gt代表物体当前帧时间所属的标签类别;gt+1代表物体下一帧时间所属的标签类别; 表示当前帧像素p的语义标签, 表示下一帧像素q的语义标签,k表示像素所在的图层,k∈{1,2};t表示当前帧时间序号,t+1表示下一帧时间序号; 代表当 和 的两层的负对数似然;

空间项Espace公式如下:

其中, 表示空间项的权重系数; 表示当前帧像素p的语义标签; 表示当前帧像素r的语义标签,当 时, 不是相邻空间的像素,施加空间惩罚项;当时, 像素处于相邻空间;

时间项Etime公式如下:

其中, 表示当前帧像素p的语义标签; 表示下一帧像素q的语义标签,当时, 施加时间惩罚项;当 时, 两对应像素具有相

同标签;

四、将步骤一中的连续两帧图片和计算出的光流结果以及步骤三中的优化分割结果作为输入量,利用前景光流模型计算最终光流结果:其中,u是光流的水平方向分量;v是光流的垂直方向分量;ut代表当前帧的光流的水平方向分量;vt代表当前帧的光流的垂直方向分量;I表示输入图像的灰度;k表示像素所在的图层,k∈{1,2};t表示当前帧时间序号,t+1表示下一帧时间序号;λmotion表示运动项系数;

λtime表示时间项系数;λspace表示空间项系数;kt代表当前帧像素的标签层;kt+1代表当下一帧像素的标签层;It代表当前帧图像的灰度,It+1代表下一帧图像的灰度;

Edata数据项表示为:

其中,ut代表当前帧的光流的水平方向分量;vt代表当前帧的光流的垂直方向分量;p表示当前帧的像素点;q表示像素p在下一帧的匹配像素;ρD表示鲁棒惩罚函数; 表示当前帧像素p的灰度值; 表示下一帧像素q的灰度值;λD表示对遮挡像素的恒定惩罚;

表示指示函数; 表示当前帧像素p的所在层, 表示下一帧像素q的所在层,并当 时,表示像素p与像素q处于不同的层,发生遮挡,此时 Edata同时施加外观一致性和遮挡惩罚;当 时,表示像素p与经过运动后的匹配像素q处于相同的前景或背景层,未发生遮挡,此时 Edata仅施加外观一致性;

运动项Emotion公式如下:

其中,r表示像素p的相邻像素;第一项中Np包含像素p的四个最近邻域,ρ表示运动项惩罚函数, 表示当前帧像素p的运动向量, 表示当前帧像素r的运动向量, 表示当前帧像素p的所处层, 表示当前帧像素r的所处层,当 时,表明像素p与相邻像素r处于同一前景层,则像素p与相邻像素r具有相似的运动,施加相似运动一致项;第二项中λaff表示仿射运动的平滑系数,ρaff表示添加形变后的仿射运动惩罚函数; 表示全局运动模型;

空间项Espace鼓励分层的空间邻接性,对非相邻空间的像素施加惩罚,表示为:其中, 为空间项权重, 表示当前帧像素p的所处层, 表示前帧像素r的所处层,当时, 当 时, 像素p与像素r处于相邻空间;

Etime时间项代表着相同像素在时间的推移下前后景不会发生改变,保证了分层模型的时间一致性:其中, 表示当前帧像素p的所处层, 表示下一帧像素q的所处层,当 时,当 时,

最小化能量泛函,最终输出计算光流。