1.一种虚拟视点彩色图像绘制方法,其特征在于包括以下步骤:①获取t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像,然后在编码端根据设定的编码预测结构分别对t时刻的K个参考视点的K幅颜色空间为YUV的彩色图像及其对应的K幅深度图像进行编码,再将编码后的K幅彩色图像及其对应的K幅深度图像经网络传输给解码端;在解码端对编码后的K幅彩色图像及其对应的K幅深度图像进行解码,获得解码后的t时刻的K个参考视点的K幅彩色图像及其对应的K幅深度图像;
②将t时刻的第k个参考视点的彩色图像记为 将t时刻的第k个参考视点的深度图像记为 其中,i=1,2,3分别表示YUV颜色空间的三个分量,YUV颜色空间的第1个分量为亮度分量并记为γ、第2个分量为第一色度分量并记为U及第3个分量为第二色度分量并记为V,(x,y)表示彩色图像或深度图像中像素点的坐标位置,
1≤k≤K,k的初始值为1, 表示t时刻的第k个参考视点的彩色图像中坐标位置为(x,y)的像素点的第i个分量的值, 表示t时刻的第k个参考视点的深度图像 中坐标位置为(x,y)的像素点的深度值;
③将t时刻的第k个参考视点的深度图像 从二维图像平面投影到三维场景平面,得到t时刻的第k个参考视点的深度图像 对应的场景深度集合,记为其中, 表示t时刻的第k个参考视点的深度图像 对应的场景深度集合 中坐标位置为(x,y)的像素点的场景深度值,Znear表示最小的场景深度值,Zfar表示最大的场景深度值;
④采用边缘检测算法对t时刻的第k个参考视点的深度图像 进行边缘检测,获得边缘分割图像,记为 其中,边缘分割图像 包括边缘区域;对t时刻的第k个参考视点的深度图像 进行前景和背景的分离处理,得到前背景分离图像,记为 其中,前背景分离图像 包括前景区域和背景区域;
⑤根据边缘分割图像 和前背景分离图像 将t时刻的第k个参考视点的深度图像 分割成核心内容区域和非核心内容区域;
所述的步骤⑤中核心内容区域和非核心内容区域的分割过程为:⑤-1、定义t时刻的第k个参考视点的深度图像 中当前正在处理的像素点为当前像素点;
⑤-2、判断当前像素点是否属于前背景分离图像 的前景区域或边缘分割图像 的边缘区域,如果是,则确定当前像素点为核心内容,否则,确定当前像素点为非核心内容;
⑤-3、将t时刻的第k个参考视点的深度图像 中下一个待处理的像素点作为当前像素点,然后执行步骤⑤-2和⑤-3,直至t时刻的第k个参考视点的深度图像中所有像素点处理完毕,将所有核心内容构成的区域作为核心内容区域,将所有非核心内容构成的区域作为非核心内容区域;
⑥利用两组不同滤波强度的双向滤波器分别对场景深度集合 中与t时刻的第k个参考视点的深度图像 的核心内容区域和非核心内容区域中的各个像素点对应的场景深度值进行滤波处理,得到滤波后的场景深度集合,记为⑦将滤波后的场景深度集合 从三维场景平面重新投影到二维图像平面,得到t时刻的第k个参考视点的深度滤波图像,记为其中, 表示t时刻的第k个参考视点的深
度滤波图像 中坐标位置为(x,y)的像素点的深度值, 表示滤波后的场景深度集合 中坐标位置为(x,y)的像素点的场景深度值,Znear表示最小的场景深度值,Zfar表示最大的场景深度值;
⑧令k′=k+1,k=k′,重复执行步骤②至⑧直至得到t时刻的K个参考视点的K幅深度滤波图像,K幅深度滤波图像用集合表示为⑨假定当前需绘制的是第k′个虚拟视点,从t时刻的K个参考视点中选择两个与第k′个虚拟视点最相邻的参考视点,假定这两个参考视点分别为第k个参考视点和第k+1个参考视点,将由第k个参考视点绘制得到的第k′个虚拟视点的虚拟视点图像记为将由第k+1个参考视点绘制得到的第k′个虚拟视点的虚拟视点图像记为首先利用t时刻的第k个参考视点的深度图像 所提供的深度信息,然后采用三维图像变换方法逐像素点计算t时刻的第k个参考视点的彩色图像中的各个像素点在当前需绘制的第k′个虚拟视点的虚拟视点图像 中的坐标位置,得到t时刻的第k个参考视点的彩色图像 中的各个像素点映射到当前需绘制的第k′个虚拟视点的虚拟视点图像 的坐标映射关系,再利用该坐标映射关系将t时刻的第k个参考视点的彩色图像 中的各个像素点映射到当前需绘制的第k′个虚拟视点的虚拟视点图像 中;
采用与由第k个参考视点绘制得到的虚拟视点图像 相同的方法,将第k+1个参考视点的彩色图像 中的各个像素点映射到需绘制的第k′个虚拟视点的虚拟视点图像 中;
⑩分别对由第k个参考视点绘制得到的虚拟视点图像 和由第k+1个参考视点绘制得到的虚拟视点图像 进行颜色传递操作,得到颜色校正后的由第k个参考视点绘制得到的虚拟视点图像和由第k+1个参考视点绘制得到的虚拟视点图像,分别记为 和采用图像融合方法融合颜色校正后的由第k个参考视点绘制得到的虚拟视点图像和颜色校正后的由第k+1个参考视点绘制得到的虚拟视点图像得到融合后的虚拟视点图像,记为 并对融合后的虚拟视点图像 中的空洞像素点进行填补,得到最终的虚拟视点图像,记为{ID,t,i(x,y)}; 重复执行步骤⑨至直至得到K个虚拟视点的K幅虚拟视点图像。
2.根据权利要求1所述的一种虚拟视点彩色图像绘制方法,其特征在于所述的步骤①中设定的编码预测结构为HBP编码预测结构。
3.根据权利要求1或2所述的一种虚拟视点彩色图像绘制方法,其特征在于所述的步骤④中对t时刻的第k个参考视点的深度图像 进行前景和背景的分离处理的具体过程为:④-1、采用k-mean算法对t时刻的第k个参考视点的深度图像 进行聚类操作,得到初始的聚类中心;
④-2、根据初始的聚类中心,采用期望最大算法估计t时刻的第k个参考视点的深度图像 的高斯混合模型,记为Θ, 其中,j表示高斯混合模型Θ中的第j个高斯分量,j=1代表前景,j=2代表背景,ωj表示第j个高斯分量的加权系数,μj表示第j个高斯分量的均值,σj表示第j个高斯分量的标准差;
④-3、采用最大化概率密度函数分别获取t时刻的第k个参考视点的深度图像中的各个像素点属于高斯混合模型Θ中的第j个高斯分量的分类标记,记为γ(x,y), 其中,1≤j≤2,γ(x,y)∈[1,2],Γ表示高斯混合模型Θ中的所有高斯分量的集合,Γ={j|1≤j≤2}, 表示最大化概率密度函数,μi表示第i个高斯分量的均值,σi表示第i个高斯分量的标准差;
④-4、将t时刻的第k个参考视点的深度图像 中分类标记的值为1的所有像素点构成的区域作为t时刻的第k个参考视点的深度图像 的前景区域,将t时刻的第k个参考视点的深度图像 中分类标记的值为2的所有像素点构成的区域作为t时刻的第k个参考视点的深度图像 的背景区域,得到前背景分离图像
4.根据权利要求1所述的一种虚拟视点彩色图像绘制方法,其特征在于所述的步骤⑥的具体过程为:⑥-1、定义t时刻的第k个参考视点的深度图像 中当前正在处理的像素点为当前像素点,将当前像素点的坐标位置记为p,将当前像素点的邻域像素点的坐标位置记为q,定义双向滤波器为 其中,Gσs(||p-q||)表示标准差为σs的高斯函
数, 表示标准差为σr的高斯函
数, ||p-q||表示坐标位置p和坐
标位置q之间的欧拉距离, 表示t时刻的
第k个参考视点的彩色图像 中坐标位置为p的像素点的第i个分量的值,表示t时刻的第k个参考视点的彩色图像 中坐标位置为q的像素点的第i个分量的值, 表示场景深度集合 中坐标位置为q的像素点的场景深度值,N(q)表示以坐标位置为q的像素点为中心的3×3邻域窗口;
⑥-2、判断当前像素点是否属于t时刻的第k个参考视点的深度图像 的核心内容区域,如果是,则执行步骤⑥-3,否则,执行步骤⑥-4;
⑥-3、采用标准差为(σs1,σr1)的双向滤波器对当前像素点的坐标位置为q的邻域像素点的场景深度值 进行滤波操作,得到当前像素点滤波后的场景深度值 其 中,Gσs1(||p-q||)表示标准差为σs1的高斯函数, 表示标准差为σr1的高斯
函数,
⑥-4、采用标准差为(σs2,σr2)的双向滤波器对当前像素点的坐标位置为q的邻域像素点的场景深度值 进行滤波操作,得到当前像素点滤波后的场景深度值 其 中,Gσs2(||p-q||)表示标准差为σs2的高斯函数, 表示标准差为σr2的高
斯函数, 在此标准差(σs2,σr2)
的滤波强度大于标准差(σs1,σr1)的滤波强度;
⑥-5、将滤波后的所有场景深度值构成的集合作为滤波后的场景深度集合
5.根据权利要求4所述的一种虚拟视点彩色图像绘制方法,其特征在于所述的(σs1,σr1)的大小为(1,5),所述的(σs2,σr2)的大小为(10,15)。
6.根据权利要求4所述的一种虚拟视点彩色图像绘制方法,其特征在于所述的步骤⑩的具体过程为:⑩-1、统计由第k个参考视点绘制得到的虚拟视点图像 中排除空洞像素点外的正确映射的像素点的总个数,记为num1,分别获取虚拟视点图像 的num1个像素点的第i个分量的均值 和标准差⑩-2、统计由第k+1个参考视点绘制得到的虚拟视点图像 中排除空洞像素点外的正确映射的像素点的总个数,记为num2,分别获取虚拟视点图像 的num2个像素点的第i个分量的均值 和标准差⑩-3、计算由第k个参考视点绘制得到的虚拟视点图像 和由第k+1个参考视点绘制得到的虚拟视点图像 的第i个分量的目标均值和目标标准差,记目标均值为 记目标标准差为
⑩-4、根据目标均值 和目标标准差 及由第k个参考视点绘制得到的虚拟视点图像 的第i个分量的均值 和标准差 通过对由第k个参考视点绘制得到的虚拟视点图像
的各个分量进行颜色传递操作得到颜色校正后的虚拟视点图像⑩-5、根据目标均值 和目标标准差 及由第k+1个参考视点绘制得到的虚拟视点图像 的第i个分量的均值 和标准差 通过对由第k+1个参考视点绘制得到的虚拟
视点图像 的各个分量进行颜色传递操作得到颜色校正后的虚拟视点图像
7.根据权利要求6所述的一种虚拟视点彩色图像绘制方法,其特征在于所述的步骤中的图像融合方法的具体过程为:-1、判断颜色校正后的由第k个参考视点绘制得到的虚拟视点图像中坐标位置为(x,y)的像素点是否为空洞像素点,如果是,则继续执行,否则,其中, 表示融合后的虚拟视点图像 中坐标位置为(x,y)的像素点的第i个分量的值, 表示颜色校正后的由第k个参考视点绘制得到的虚拟视点图像 中坐标位置为(x,y)的像素点的第i个分量的值;
-2、判断颜色校正后的由第k+1个参考视点绘制得到的虚拟视点图像中坐标位置为(x,y)的像素点是否为空洞像素点,如果是,则确定融合后的虚拟视点图像 中坐标位置为(x,y)的像素点为空洞像素点,否则,其中, 表示颜色校正后的由第k+1个参考视点绘制得到的虚拟视点图像中坐标位置为(x,y)的像素点的第i个分量的值。
8.根据权利要求1所述的一种虚拟视点彩色图像绘制方法,其特征在于所述的步骤④中的边缘检测算法采用Susan边缘检测算法。