欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019109068229
申请人: 宁波大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-04-28
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度背景建模的虚拟视点空洞填补方法,其特征在于包括以下步骤:

步骤1、输入参考视点的深度视频和纹理视频;

步骤2、对参考视点的深度视频进行深度背景建模获取深度背景图;

步骤3、根据深度背景图和参考视点的纹理视频进行纹理背景建模获取纹理背景图;

步骤4、使用三维映射方法分别对参考视点的深度视频、深度背景图、参考视点的纹理视频和纹理背景图进行映射,获取虚拟视点的深度视频、深度背景图、纹理视频和纹理背景图,且虚拟视点的深度视频、深度背景图、纹理视频和纹理背景图中均存有空洞;

步骤5、分别对虚拟视点的深度视频和深度背景图进行空洞填补,得到虚拟视点的第一深度视频和第一深度背景图;

其中,对虚拟视点的深度视频和深度背景图进行深度空洞填补的具体步骤如下:

步骤5‑1、分别将虚拟视点的深度视频的每帧图像和虚拟视点的深度背景图中位于图像左边界的空洞,用该空洞右端点外的第一个有效深度值填补该空洞内的所有区域,即DepX(x,j)=DepX(Indexright,j);

DepX(i,j)表示虚拟视点的深度背景图和虚拟视点的深度视频的每帧图像中像素点(i,j)的深度值,1≤i≤w,1≤j≤h,w和h分别表示虚拟视点的深度背景图和虚拟视点的深度视频的每帧图像的宽和高;变量ξ表示在虚拟视点的深度背景图和虚拟视点的深度视频的每帧图像中第j行的空洞连续区域,Indexright为空洞右端点外的第一个有效像素点的横坐标;

步骤5‑2、分别将虚拟视点的深度视频的每帧图像和虚拟视点的深度背景图中位于图像右边界的空洞,用该空洞左端点外的第一个有效深度值填补该空洞内的所有区域,即DepX(x,j)=DepX(Indexleft,j);

Indexleft为空洞左端点外的第一个有效像素点的横坐标;

步骤5‑3、分别将虚拟视点的深度视频的每帧图像和虚拟视点的深度背景图中左、右两个端点均位于图像内部的空洞,用该空洞左端点和右端点外的第一个有效深度值中的较小深度值填补该空洞内的所有区域,即:DepX(x,j)=min(DepX(Indexleft,j),DepX(Indexright,j));

步骤6、将虚拟视点的纹理背景图与虚拟视点的纹理视频进行融合,得到虚拟视点的纹理视频中每帧图像的融合图;

其中,融合的具体步骤为:

步骤6‑1、建立与虚拟视点的纹理视频中每帧图像相对应的大小相同的融合图,其中每帧融合图中所有像素点的像素初始值均为0;

步骤6‑2、分别对虚拟视点的纹理视频的每帧图像进行逐像素遍历,并对每帧融合图的像素点进行赋值:当虚拟视点的纹理视频的某帧图像中某个像素点不为空洞时,则将该像素点对应的像素值直接赋值给对应帧融合图中对应的像素点;当虚拟视点的纹理视频的某帧图像中某个像素点为空洞时,则通过比较第一深度视频的对应帧图像和第一深度背景图中的深度值来进行该帧融合图的赋值,该帧融合图记为MerTex;

其中,TDep表示预设的深度背景阈值,WarpedBGTex(i,j)、WarpedBGDep(i,j)、WarpedTex(i,j)和WarpedDep(i,j)分别表示虚拟视点的纹理背景图中像素点(i,j)的像素值、第一深度背景图中像素点(i,j)的深度值、虚拟视点的纹理视频的对应帧图像中像素点(i,j)的像素值和第一深度视频的对应帧图像中像素点(i,j)的深度值;

步骤7、对步骤6中得到的每帧融合图中的剩余空洞区域进行填补,获取虚拟视点的第一纹理视频;

其中,对剩余空洞区域进行填补的具体步骤为:

步骤7‑1、建立与参考视点的纹理视频帧数相同且每帧图像大小相同的虚拟视点纹理视频,且虚拟视点纹理视频的每帧图像中每个像素点的像素初始值均为0;

步骤7‑2、遍历虚拟视点的纹理视频的每帧图像对应的融合图:

当虚拟视点的纹理视频的某帧图像对应的融合图中某个像素点为非空洞时,即:MerTex(i,j)≠0,则将该帧融合图中该像素点的像素值直接赋值给虚拟视点的纹理视频对应帧中对应的像素点,即VirtualTex(i,j)=MerTex(i,j);

当虚拟视点的纹理视频的某帧图像对应的融合图中某个像素点为空洞时,即:MerTex(i,j)=0,记录空洞的左右边缘分别为Aleft和Aright;当Axleft=1时,则将该帧融合图的空洞右边缘外第一个有效像素值赋值给虚拟视点的纹理视频对应帧中与该空洞内位置对应的所有像素点,即VirtualTex(x,j)=MerTex(Indexright,j);当Aright=w时,则将该帧融合图的空洞左边缘外第一个有效像素值赋值给虚拟视点的纹理视频对应帧中与该空洞内所有像素点相位置对应的像素点,即VirtualTex(x,j)=MerTex(Indexleft,j);当Aleft>1且Aright

2.根据权利要求1所述的基于深度背景建模的虚拟视点空洞填补方法,其特征在于:所述步骤2中的深度背景图的获取方法包括以下步骤:步骤2‑1、从参考视点的深度视频中获取N帧视频帧,分别统计每个位置的像素点在所有视频帧中对应的深度值,并将每个位置的像素点对应的深度值分别组成时域直方图;

步骤2‑2、判断时域直方图中的柱是否有且只有一个,如是,该位置的像素点为稳定像素点,将该柱对应的深度值作为该位置的背景深度值;如否,则转入步骤2‑3;

步骤2‑3、记录直方图中最高峰值的频次H,判断H/N是否大于Tunknow,Tunknow为预设的最大分割阈值,如是,则进入步骤2‑4;如否,则该位置的像素点为非稳定像素,且将该位置的深度值设为0;

步骤2‑4、从深度值从0值开始遍历直方图,判断是否存在频次大于等于N/Tnoise的柱,如是,则记录第一个频次大于等于N/Tnoise的柱,并将该柱对应的深度值作为该位置的背景深度值,其中,Tnoise为预设的噪声阈值;如否,则该位置的像素点为非稳定像素,且将该位置的深度值设为0;

步骤2‑5、将每个位置的背景深度值依次赋值给深度背景图中的相应位置,得到深度背景图。

3.根据权利要求1所述的基于深度背景建模的虚拟视点空洞填补方法,其特征在于:所述步骤3的具体步骤为:步骤3‑1、建立纹理背景池Pool(i,j)和累加池Sum(i,j),其中,纹理背景池和累加池中每个像素点的初始值均为0;

步骤3‑2、对参考视点的深度视频中某帧深度图像的每个像素点分别进行遍历,获取当前帧的深度背景掩模,其中,当前帧的深度背景掩模记为Mask(i,j),计算公式为:其中,BGDep(i,j)表示深度背景图BGDep中像素点(i,j)的深度值,RefDep(i,j)表示参考视点的深度视频中当前帧深度图RefDep中像素点(i,j)的深度值,TBG表示预设的背景阈值;

步骤3‑3、当Mask(i,j)等于1时,则对纹理背景池和累加池中该像素点对应的值进行计算,纹理背景池和累加池的计算公式为:其中,RefTex(i,j)表示参考视点的纹理视频的当前帧图像中像素点(i,j)的像素值;

步骤3‑4、对参考视点的深度视频中所有帧深度图均进行步骤3‑2和步骤3‑3的遍历,得到纹理背景池和累加池中每个像素点的值;

步骤3‑5、根据步骤3‑4中得到的纹理背景池和累加池每个像素点的值计算纹理背景图BGTex中每个像素点的像素值,计算公式为: