欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024113489984
申请人: 河海大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种局部—全局特征增强和风格融合的人物渲染方法,其特征在于:包括:S1:数据加载和初始化:

将人物模型数据从应用传入顶点着色器;

再从顶点着色器传入片元着色器;

将顶点坐标从模型空间转换到裁剪空间;

片元着色器得到世界坐标下的光源位置和摄像机位置;

S2:数据点云化:将模型的几何信息转化为点云数据并归一化至相同分布;

S3:利用改进的反射强度辅助PCA方法评估点云中每个点的法向量;

S4:基于加强全局—局部的点云几何特征提取网络模型重建人物三维点;

基于加强全局—局部的点云几何特征提取网络模型重建人物三维点的具体步骤为:S41:加强全局—局部的点云几何特征提取网络由3层局部加强模块和MLP组成;前者提取点云局部高维信息,后者整合全局信息,两者配合保证数据中的局部和全局特征得到充分提取;

所述步骤S41中局部加强模块的具体操作为:

S411:人物点云(x,y,z,nx,ny,nz,i)输入数据分解为两类法向量ni=(nxi,nyi,nzi)和位置信息pi=(pxi,pyi,pzi);

S412:位置特征将进一步地编码为点云位置信息具体操作为:其中,表示拼接操作,局部特征用于相对位置编码,是pk至的相对位置,作为一个影响因素;

S413:法向量特征将进一步地编码为点云法向量具体操作为:其中,表示拼接操作,局部法向量特征被编码用于减少冗余点云法向量,表示相对于nk的方向变化,表示方向的相似度,该步骤与S412共享MLP;

S414:N个人物点云(x,y,z,nx,ny,nz,i)经过共享MLP分类处理后将获得局部特征F∈(N,k,2d),再经过代理注意力机制的处理以获得局部特征F′∈(N,k,2d);

S42:拼接三层局部加强模块后的特征以融合不同尺度特征,得到全局特征P,再利用1个最大池化操作和单层MLP对特征维度降维,得到全局特征P′∈(N,k,2d);

S43:利用损失函数应用与处理后的特征,以映射至真实三维人物点云特征,其损失函数设计如下:S5:反向还原点云信息:线性反归一化点云数据至原始模型坐标范围;

S6:渲染处理:基于物理和风格化融合完成人物的轮廓描边、凹凸贴图、高光项、漫反射项、自发光项渲染改进,最终得到特征强化后的相应风格渲染效果。

2.根据权利要求1所述的一种局部—全局特征增强和风格融合的人物渲染方法,其特征在于:步骤S1中的数据加载和初始化具体步骤如下:S11:将人物模型数据从应用传入顶点着色器,将应用中传入Shader的数据组织为结构体Appdata,它包含vertex、normal、tangent和uv四个变量,分别代表模型空间中的顶点位置、顶点的法线、顶点的切线方向和模型中的第一组纹理坐标的语义;

S12:按照S11的方式将顶点着色器处理完的数据再传入片元着色;

S13:为了将顶点坐标从模型空间转换到裁剪空间中,设计模型坐标—世界坐标—观察坐标—裁剪坐标的变换函数,该函数代表矩阵乘法,公式如下:result=MVP*pos;

其中,result是裁剪空间坐标,MVP是模型—视图—投影矩阵,pos是顶点的对象空间坐标;

S14:在片元着色器中,设计函数得到光源位置和摄像机位置的初步数据,将其归一化便是该片元的光源方向和观察方向,其两者的公式如下:viewDir=normalize(cameraPosition-worldPos);

lightDir=normalize(lightPosition-worldPos);

其中,viewDir是顶点在世界空间中的视图方向向量,cameraPosition是相机在世界空间中的位置;lightDir是从顶点位置指向光源的方向向量,lightPosition是光源在世界空间中的位置,wor|dPos是顶点的世界空间坐标,normalize函数将两者归一化。

3.根据权利要求1所述的一种局部—全局特征增强和风格融合的人物渲染方法,其特征在于:所述步骤S2中的数据点云化的具体步骤为:S21:给定具有N个顶点的人物模型Xraw,每个点由(x,y,z)坐标组成,模型的第i个顶点转化为点云中的第i个点:(xi,yi,zi);

S22:对于点云中第i个点进行归一化,以x坐标为例:

其中,xmin和xmax分别是点云中所有点在x轴上的最小值和最大值。

4.根据权利要求1所述的一种局部—全局特征增强和风格融合的人物渲染方法,其特征在于:所述步骤S3中的利用改进的反射强度辅助PCA方法评估点云中每个点的法向量的具体步骤为:S31:7个通道的点云(x,y,z,nx,ny,nz,i)包括位置、法向量和反射强度,法向量的反射强度信息的权重由每个邻域点的I强度差指数计算,其公式如下:S32:加权协方差矩阵M′可被计算,公式如下:

其中,p是兴趣点,pi(i=1,...,K)是p最近邻域中的点,M′矩阵的最大特征值作为p点的法向量的特征值n;

S33:应用中值滤波器从评估的法向量中去除噪声的影响;当前的法向量的方向表示为Hue、饱和度、值(HSV)颜色空间中的标量值;因此,如果法向量在一个区域内具有相同的方向,则该区域的点用相同的颜色绘制。

5.根据权利要求1所述的一种局部—全局特征增强和风格融合的人物渲染方法,其特征在于:所述步骤S5中的反向还原点云信息的具体步骤为:S51:给定具有N1个采样点云,每个点由(x,y,z)坐标组成,点云中的第i个点将其转化为模型的第i个顶点(xi,yi,zi);

S52:对于点云中第i个点反向还原点云信息,以x坐标为例:xrestored,i=xi×(xmax-xmin);;

其中,xmin和xmax分别是采样点云中所有点在x轴上的最小和最大值。

6.根据权利要求1所述的一种局部—全局特征增强和风格融合的人物渲染方法,其特征在于:所述步骤S7中的渲染处理的具体步骤为:S71:轮廓描边:在顶点着色器中,首先将法线变换到NDC空间中,然后消除齐次除法带来的变化以及适应16:9的宽屏,最后在片元着色器中输出定义的颜色,轮廓描边效果呈现在最终的图像上;

S72:凹凸贴图:首先将法线从切线空间转换到世界空间,然后对需要处理的法线贴图使用UV值采样,最后将对法线纹理的RGB值进行解码,将其转换为世界空间中的法线向量;

S73:高光项:首先计算高光项的BRDF,包括法线分布函数D、阴影遮蔽函数G以及菲涅尔项F三个部分,然后将以上三项D、G和F三项相乘并代入渲染方程,求出当前光源的颜色和最后的高光项着色值;

S74:漫反射项:经过S71-S73操作处理后的法线方向记作n和光源方向I,采用半兰伯特公式,将两者的点积映射至0到1区间,其公式如下:将结果L与S11声明的阈值变量比较,以确定该该片元处在明面/暗面,最后通过线性插值函数Lerp(a,b,t)在明暗交界处得到不同程度的过渡效果;

S75:自发光项:按照定义的边缘光的颜色和自发光项的范围,采用与S74操作相同的方式形成柔和的分界线。