欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2016103630219
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 电通信技术
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于双目多维感知特性的立体视频显著性检测方法,包括显著特征提取和显著特征融合,其特征在于:所述的显著特征提取是从立体视频的空间、深度以及运动三个不同维度的视图信息分别进行显著性计算,具体包括三部分:二维静态显著区域检测、深度显著区域检测、运动显著区域检测;其中:二维静态显著区域检测:根据Bayesian模型计算单张彩色图像的空间特征的显著性,检测出彩色图像的二维静态显著区域,具体是:通过计算单点的感兴趣概率的方法来估计物体的显著程度SZ:式中z表示图像中的某个像素点,p表示相应的概率值,随机变量F表示一个点像素的视觉特征值,随机变量L表示一个像素点的坐标位置;二元随机变量C表示该点像素是否为目标像素,C=1表示为目标像素,C≠1表示不是目标像素;fz和lz分别表示注视在z点时的视觉特征值以及相应的像素坐标位置;假设在C=1的情况下,该点的视觉特征与空间位置是相互独立的,即有:为了在一张图像中方便比较该点的显著概率,将上式进行对数化:log sz=-log p(F=fz)+log p(F=fz|C=1)+log p(C=1|L=lz);式中第一项-log p(F=fz)表示该像素点特征的自信息量,只依赖于z的视觉特征,独立于任何先验信息;第二项log p(F=fz|C=1)表示对数似然函数项,用来表示目标的先验信息;第三项log p(C=1|L=lz)表示独立于视觉特性,反映目标可能出现位置的先验信息;将上式简化为:log Sz=-log p(F=fz),通过计算图像各像素点的显著程度SZ获取二维静态显著图SMimage;深度显著区域检测的具体步骤是:①采用DERS软件根据输入的第k帧左视点图和右视点图计算出该帧的视差图,其中视差值d∈[0,255];②根据视差图中的最大视差值dmax和最小视差值dmin将视差值归一化到[0 ,1]区间;如果某像素点的视差值接近dmax则赋予大的视差值,相反接近dmin则赋予小的视差值,给前景物体与背景物体赋予不同的显著性得到深度前景图Dforeground,其中前景物体相对于背景物体更为显著;③利用高斯差分滤波器提取重要的深度感知特征—深度对比度DoG(x ,y),实现公式下:其中(x,y)代表滤波器位置,σ和K分别用来控制滤波器的尺度和高斯核的半径比,将经DoG滤波后的深度图作为深度对比度图Dconstrast;④将获取的深度前景图Dforeground和深度对比度图Dconstrast进行线性加权融合,获取深度显著图SMdepth:SMdepth=ω1Dforeground+ω2Dconstrast;其中:ω1和ω2分别为Dforeground和Dconstrast的权重;运动显著区域检测:根据当前帧的二维静态显著图SMimage和深度显著图SMdepth中的显著区域采用光流法提取相邻帧间运动矢量,获取运动显著图SMmotion,具体步骤是:a.对二维静态显著图SMimage和深度显著图SMdepth进行二值化:式中,Timage和Tdepth分别为SMimage和SMdepth的二值化处理的门限值,最佳门限值通过大津算法获取,SM′image和SM′depth为经过二值化处理后的显著图,其中显著区域的像素值为1,不显著区域的像素值为0;然后将SM′image和SM′depth代入下式中来确定当前帧图像的光流计算区域S′(x,y):式中S(x,y)表示当前帧原视图中像素点(x,y)处的灰度值;b.根据划分的显著区域利用Lucas-Kanade微分光流算法计算相邻帧的运动;假设连续时间内像素点的灰度值恒定不变,特征点邻域内做相似运动,对显著区域所有像素求解基本光流方程:IxVx+IyVy=-It;式中Vx,Vy分别表示光流矢量沿x,y两个方向分量,Ix,Iy,It分别表示像素点沿x,y,t三个方向的偏导数,矢量形式表达式为:式中是该点的梯度方向,符号T代表转置,为该点的光流,联立n个光流方程采用最小二乘法求解x,y方向的速度:得到:

通过上述方程计算显著区域的光流进而获取运动显著图SMmotion;所述的显著特征融合是将已获取的三种不同维度的显著特征图SMimage、SMdepth、SMmotion采取全局非线性归一化的融合策略进行融合,进而获取立体视频显著区域;具体步骤是:(1)将已获取的种不同维度的显著图归一化到一个相同的0到1区间的动态范围内;( 2 )计算每张显著图的全局最大值Mi以及所有局部极大值的平均值i=image ,depth,motion,其中Mi通过计算视差直方图可获取,是先通过matlab中的差分函数计算

出局部极大值,然后再取其平均值;(3)将归一化后的显著图与其相乘,计算公式如下:式中N(SMi)表示归一化操作,即把不同的显著图都归一化到[0,1]区间,其中权重通过

计算该图中全局最大值Mi与所有局部极大值的平均值的差值,当二者差值很大时,表明

该显著图中的显著特征更为明显,赋予大的权重;当差值很小的时候,表明该显著图的显著特征更为均匀,赋予较小的权重进行抑制,取(Mi-mi)2作为每张显著图的权重值;通过临近相似特征相互抑制的方式来近似模拟生物神经抑制机制,融合三个不同维度的显著特征来获取立体视频的显著区域。