1.一种基于立方体投影格式的立体全景图像显著区域预测方法,其特征在于包括以下步骤:
步骤1:将待处理的宽度为W且高度为H的立体全景图像处理成立方体投影格式的立体CMP CMP CMP CMP全景图像,记为I ,I 由6个面组成,I 表述为I =(V1,V2,V3,V4,V5,V6);其中,V1表示CMP CMP CMP CMP CMPI 的左部面,V2表示I 的前部面,V3表示I 的右部面,V4表示I 的后部面,V5表示I 的CMP顶部面,V6表示I 的底部面;
CMP CMP
步骤2:构建I 的水平局部面,记为Vhl;并构建I 的水平全局面,记为Vhg;
所述的步骤2中,Vhl由8个面组成,Vhl表述为Vhl=(V1,V2,V3,V4,V1',V2',V3',V4');Vhg由2个面组成,Vhg表述为Vhg=(Vhg1,Vhg2);其中,V1'表示V1向左移动L1个像素点距离后得到的面,V2'表示V2向左移动L1个像素点距离后得到的面,V3'表示V3向左移动L1个像素点距离后得到的面,V4'表示V4向左移动L1个像素点距离后得到的面, M表示V1、V2、V3、V4、V5、V6的宽和高,Vhg1由V1、V2、V3、V4按顺序拼接成一行而成,Vhg1的宽度为4M且高度为M,Vhg2表示Vhg1向左移动L2个像素点距离后得到的面, M'表示Vhg1的宽度,即M'=4M;
步骤3:计算Vhl的显著图,记为Shl;并计算Vhg的显著图,记为Shg;其中,Shl和Shg的宽度一致且高度一致;
所述的步骤3的具体过程为:
步骤3_1:将Vhl中的每个面和Vhg中的每个面均作为待处理的面;
步骤3_2:将当前待处理的面定义为当前面;
步骤3_3:对当前面进行超像素分割,分割得到多个超像素块;
步骤3_4:对当前面中的每个超像素块进行张量分解,得到当前面中的每个超像素块的张量域第一子带;然后将当前面中的每个超像素块的张量域第一子带中的所有像素点的像素值的均值作为该超像素块的颜色特征;再计算当前面中的每两个超像素块的颜色特征之间的距离,将当前面中的第i个超像素块的颜色特征与第j个超像素块的颜色特征之间的距离记为distci,j,distci,j=||ci‑cj||2;其中,1≤i≤Num,1≤j≤Num,i≠j,Num表示当前面中的超像素块的个数,Num>1,ci表示当前面中的第i个超像素块的颜色特征,cj表示当前面中的第j个超像素块的颜色特征,符号“|| ||2”为求2‑范数符号;
步骤3_5:计算当前面的左视图与右视图的视差图;然后将视差图中的每个超像素块中的所有像素点的像素值的均值作为当前面中的每个超像素块的深度特征,即将视差图中的第i个超像素块中的所有像素点的像素值的均值作为当前面中的第i个超像素块的深度特征;再计算当前面中的每两个超像素块的深度特征之间的距离,将当前面中的第i个超像素块的深度特征与第j个超像素块的深度特征之间的距离记为distdi,j,distdi,j=||di‑dj||2;其中,di表示当前面中的第i个超像素块的深度特征,cj表示当前面中的第j个超像素块的深度特征;
步骤3_6:计算当前面中的每两个超像素块之间的特征距离,将当前面中的第i个超像素块与第j个超像素块之间的特征距离记为disti,j,disti,j=λc×distci,j+λd×distdi,j;其中,λc表示distci,j的权重,λd表示distdi,j的权重,λc+λd=1;
步骤3_7:计算当前面中的每两个超像素块之间的边权重,将当前面中的第i个超像素块与第j个超像素块之间的边权重记为wti,j, 其中,e表示自然基数,σ为常数,符号“|| ||”为求欧氏距离符号;
步骤3_8:以当前面中的每个超像素块为节点构造图模型,记为G,G=(X,E);其中,X表示所有节点构成的集合,即当前面中的所有超像素块构成的集合,E表示所有边构成的集合,当前面中的第i个超像素块与第j个超像素块之间的边的边权重为wti,j;
步骤3_9:计算G的关联矩阵和度矩阵,对应记为WT和D,WT=[wti,j]Num×Num,D=diag{D1,1,D2,2,...,Di,i,...,DNum,Num};其中,diag{}表示构造一个对角矩阵操作,Di,i=∑jwti,j,D1,1、D2,2、DNum,Num均根据Di,i=∑jwti,j计算得到;
步骤3_10:采用前景先验方法,将G中的所有节点视为查询节点,计算G的指示向量,记T
为y,y=[y1,…,yi,…,yNum] ;其中,y1,…,yi,…,yNum对应表示y中的第1个元素、……、第i个元素、……、第Num个元素,若G中的第1个节点为查询节点则令y1=1,若G中的第i个节点为T查询节点则令yi=1,若G中的第Num个节点为查询节点则令yNum=1,“[]”表示向量或矩阵的转置;
* * ‑1
步骤3_11:计算当前面的显著图,记为f ,f=(D‑α×WT) y;其中,α为常数,α=0.99,‑1() 表示向量或矩阵的逆;
步骤3_12:将下一个待处理的面作为当前面,然后返回步骤3_3继续执行,直至Vhl中的所有面和Vhg中的所有面处理完毕;
步骤3_13:计算Shl和Shg, 其中,Shl1由Vhl中的V1、V2、V3、V4
各自的显著图按顺序拼接成一行而成,Shl1的宽度为4M且高度为M,M表示V1、V2、V3、V4、V5、V6的宽和高,Shl3表示Shl2向右移动L1个像素点距离后得到的图像, Shl2由Vhl中的V1'、V2'、V3'、V4'各自的显著图按顺序拼接成一行而成,Shl2的宽度为4M且高度为M,Shg1表示Vhg1的显著图,Shg1的宽度为4M且高度为M,Shg3表示Shg2向右移动L2个像素点距离后得到的图像,M'=4M,Shg2表示Vhg2的显著图,Shg2的宽度为4M且高度为M;
CMP
步骤4:使用Shl加权Shg,得到I 的水平面显著图,记为Shv;其中,Shv的宽度为4M且高度为M,M表示V1、V2、V3、V4、V5、V6的宽和高;
CMP
步骤5:构建I 的垂直面,记为Vv;
CMP
步骤6:计算Vv的显著图;然后将Vv的显著图作为I 的垂直面显著图,记为Svv;其中,的宽度为M且高度为3M;
步骤7:将Shv在宽度方向上从左往右以M个像素点为距离进行切分,获得四个面,将Shv表述为Shv=(S1,S'2,S3,S4);并将Svv在高度方向上从上往下以M个像素点为距离进行切分,获CMP得三个面,将Svv表述为Svv=(S5,S”2,S6);然后计算I 的显著图,记为SCMP,SCMP=(S1,S2,S3,S4,S5,S6), 其中,令(x1,x2)表示Shv中的像素点的坐标位置,1≤x1≤4M,1≤x2≤M,S1表示Shv中坐标位置在1≤x1≤M,1≤x2≤M范围内的所有像素点构成的面,S'2表示Shv中坐标位置在M+1≤x1≤2M,1≤x2≤M范围内的所有像素点构成的面,S3表示Shv中坐标位置在2M+1≤x1≤3M,1≤x2≤M范围内的所有像素点构成的面,S4表示Shv中坐标位置在3M+1≤x1≤4M,1≤x2≤M范围内的所有像素点构成的面,令(x'1,x'2)表示Svv中的像素点的坐标位置,
1≤x'1≤M,1≤x'2≤3M,S5表示Svv中坐标位置在1≤x'1≤M,1≤x'2≤M范围内的所有像素点构成的面,S”2表示Svv中坐标位置在1≤x'1≤M,M+1≤x'2≤2M范围内的所有像素点构成的面,S6表示Svv中坐标位置在1≤x'1≤M,2M+1≤x'2≤3M范围内的所有像素点构成的面,S1表示SCMP的左部面,S2表示SCMP的前部面,S3表示SCMP的右部面,S4表示SCMP的后部面,S5表示SCMP的顶部面,S6表示SCMP的底部面;
步骤8:将SCMP处理成等矩形投影格式的图像,记为SERP;然后使用纬度增强权重w加权SERP,得到待处理的立体全景图像的显著图,记为Sw,将Sw中坐标位置为(a,b)的像素点的像素值记为Sw(a,b),Sw(a,b)=SERP(a,b)×w(a,b);其中,1≤a≤W,1≤b≤H,SERP(a,b)表示SERP中坐标位置为(a,b)的像素点的像素值,w(a,b)表示w中下标为(a,b)的元素的值,
2.根据权利要求1所述的基于立方体投影格式的立体全景图像显著区域预测方法,其特征在于所述的步骤4中,将Shv中坐标位置为(x1,x2)的像素点的像素值记为Shv(x1,x2),Shv(x1,x2)=Shg(x1,x2)×Shl(x1,x2);其中,1≤x1≤4M,1≤x2≤M,4M为Shv的宽度,M为Shv的高度,Shg(x,y)表示Shg中坐标位置为(x1,x2)的像素点的像素值,Shl(x,y)表示Shl中坐标位置为(x1,x2)的像素点的像素值。
3.根据权利要求1所述的基于立方体投影格式的立体全景图像显著区域预测方法,其特征在于所述的步骤5中,Vv由V5、V2、V6按顺序拼接成一列而成,Vv的宽度为M且高度为3M,M表示V1、V2、V3、V4、V5、V6的宽和高。
4.根据权利要求3所述的基于立方体投影格式的立体全景图像显著区域预测方法,其特征在于所述的步骤6的具体过程为:步骤6_1:将Vv定义为当前面;
步骤6_2:对当前面进行超像素分割,分割得到多个超像素块;
步骤6_3:对当前面中的每个超像素块进行张量分解,得到当前面中的每个超像素块的张量域第一子带;然后将当前面中的每个超像素块的张量域第一子带中的所有像素点的像素值的均值作为该超像素块的颜色特征;再计算当前面中的每两个超像素块的颜色特征之间的距离,将当前面中的第i个超像素块的颜色特征与第j个超像素块的颜色特征之间的距离记为distci,j,distci,j=||ci‑cj||2;其中,1≤i≤Num,1≤j≤Num,i≠j,Num表示当前面中的超像素块的个数,Num>1,ci表示当前面中的第i个超像素块的颜色特征,cj表示当前面中的第j个超像素块的颜色特征,符号“|| ||2”为求2‑范数符号;
步骤6_4:计算当前面的左视图与右视图的视差图;然后将视差图中的每个超像素块中的所有像素点的像素值的均值作为当前面中的每个超像素块的深度特征,即将视差图中的第i个超像素块中的所有像素点的像素值的均值作为当前面中的第i个超像素块的深度特征;再计算当前面中的每两个超像素块的深度特征之间的距离,将当前面中的第i个超像素块的深度特征与第j个超像素块的深度特征之间的距离记为distdi,j,distdi,j=||di‑dj||2;其中,di表示当前面中的第i个超像素块的深度特征,cj表示当前面中的第j个超像素块的深度特征;
步骤6_5:计算当前面中的每两个超像素块之间的特征距离,将当前面中的第i个超像素块与第j个超像素块之间的特征距离记为disti,j,disti,j=λc×distci,j+λd×distdi,j;其中,λc表示distci,j的权重,λd表示distdi,j的权重,λc+λd=1;
步骤6_6:计算当前面中的每两个超像素块之间的边权重,将当前面中的第i个超像素块与第j个超像素块之间的边权重记为wti,j, 其中,e表示自然基数,σ为常数,符号“||||”为求欧氏距离符号;
步骤6_7:以当前面中的每个超像素块为节点构造图模型,记为G,G=(X,E);其中,X表示所有节点构成的集合,即当前面中的所有超像素块构成的集合,E表示所有边构成的集合,当前面中的第i个超像素块与第j个超像素块之间的边的边权重为wti,j;
步骤6_8:计算G的关联矩阵和度矩阵,对应记为WT和D,WT=[wti,j]Num×Num,D=diag{D1,1,D2,2,...,Di,i,...,DNum,Num};其中,diag{}表示构造一个对角矩阵操作,Di,i=∑jwti,j,D1,1、D2,2、DNum,Num均根据Di,i=∑jwti,j计算得到;
步骤6_9:按步骤3_2至步骤3_11的过程,以相同的方式获取当前面中的V2部分的显著图;然后计算判定为属于当前面中的V2部分的显著图的每个超像素块的二值化结果;再采用前景先验方法,将判定为属于当前面中的V2部分的显著图的所有超像素块视为查询节T点,计算G的指示向量,记为y',y'=[y'1,…,y'i,…,y'Num] ;其中,若当前面中的一个超像素块的部分或全部落于当前面中的V2部分中,则将该超像素块判定为属于当前面中的V2部分,y'1,…,y'i,…,y'Num对应表示y'中的第1个元素、……、第i个元素、……、第Num个元素,若G中的第k个节点即当前面中的第k个超像素块被判定为属于当前面中的V2部分,则令y'k的值等于该超像素块的二值化结果,若G中的第k个节点即当前面中的第k个超像素块被判T定为不属于当前面中的V2部分,则令y'k=0,“[]”表示向量或矩阵的转置,k为正整数,1≤k≤Num;
** ** ‑1
步骤6_10:计算当前面的显著图,记为f ,f =(D‑α×WT) y';其中,α为常数,α=‑1
0.99,() 表示向量或矩阵的逆;
**
步骤6_11:将f 重新记为Svv。