欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020111950446
申请人: 西安工程大学
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2024-01-31
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于卷积神经网络的三维人脸建模方法,其特征在于,具体按照如下步骤实施:步骤1,使用Kinect相机分别从人脸的左侧、右侧和正前方采集人脸点云信息;

步骤2,对步骤1采集到的人脸点云信息进行预处理,分割出目标物体点云,并对点云进行除噪和平滑;

步骤3,采用基于卷积神经网络的配准方法,得到三个方向的平移配准参数和三个方向的旋转配准参数,实现点云的配准拼接;

步骤4,利用泊松曲面重建法,对点云进行三维重建;

所述步骤2具体为:

步骤2.1,对Z轴方向上的维度设置一定的深度距离阈值,将目标物点云与其他距离较远的无用信息分割出来,表达式如下:D(z)为分割后获取的点云数据,若点在最大阈值Depth_Max和最小阈值Depth_Min之间,就分割出来,若在范围之外就舍弃掉;

步骤2.2,将步骤2.1分割出来的点云通过快速双边滤波法,进行高斯线性卷积和双线性插值,对点云数据进行除噪和平滑;

所述步骤3具体为:

步骤3.1,构造卷积神经网络的点云配准模型;

步骤3.2,用训练数据训练卷积神经网络的点云配准模型;

步骤3.3,将步骤2得到的点云数据转化为深度图像数据,运用训练好的卷积神经网络的点云配准模型进行配准拼接;

所述步骤3.1具体为;

步骤3.1.1,构造网络结构;

利用卷积神经网络计算点云深度图像的特征,再利用得到的特征计算配准参数;模型采用N组并联的卷积神经网络相互独立地提取深度图像的N种不同的特征,每种特征都是128维的向量,将深度图像X步骤3.1.2,构造网络模型的迭代点云配准方法;

采用迭代地进行点云配准,将待配准的参数分为三组,即t所述步骤3.2具体为;

步骤3.2.1,采用普林斯顿形状数据集中的约1000个模型作为训练数据,首先利用OpenGL的深度测试功能拍摄三维模型的深度图像X步骤3.2.2,按照步骤3.1.2的方法流程训练整个模型;

整个网络模型的训练优化目标是使估计配准参数与真实配准参数的均方损失最小,定义为:其中,M为训练样本数,y

其中,i为梯度更新的次数,μ为梯度的动量,η所述步骤3.3具体为;

步骤3.3.1,计算左侧人脸点云和正面人脸点云的深度图像X其中,F和N被设置为合适值使得计算得到的深度图像对比充分,通过计算获得了点云的深度图像数据;

步骤3.3.2,将步骤3.3.1中求出的深度图像X步骤3.3.3,将步骤3.3.2得到的左侧人脸和正面人脸拼接好的点云与右侧人脸点云进行配准拼接,最终得到完整的人脸点云;

所述步骤4具体为:

步骤4.1,将点云数据进行八叉树分割,便于在函数的三维空间内对泊松方程问题进行分割离散化,使用八叉树结构储存点集,根据采样点集的位置定义八叉树,然后细分八叉树使每个采样点都落在深度为D的叶节点,则将八叉树的每个节点用函数F其中,q

选用一个方差近似为2

步骤4.2,创建向量场

其中,Q为三维点云数据集,s是点q的邻近域点集,Nb步骤4.3,定义向量场

步骤4.4,选取适合的等值面阈值来重构表面步骤4.5,通过等值面的提取,然后将提取的等值面进行拼接,完成三维人脸模型的曲面重建。

2.根据权利要求1所述的一种基于卷积神经网络的三维人脸建模方法,其特征在于,所述步骤2.2具体如下:步骤2.2.1,对步骤2.1分割出来的每一个点云数据点p=(x,y,z),求出它的m个邻域点q步骤2.2.2,计算光顺滤波函数GG=G

其中,G

步骤2.2.3,计算每个单位区域像素深度值之和WD和W,计算公式如下:其中,d

步骤2.2.4,将WD和W分别与三维高斯核函数G进行高斯线性卷积,并进行双线性插值,具体公式如下:其中,interpolate为插值函数,求出滤波后的点云数据D