欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019102566806
申请人: 江南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-05-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种动画人物绑定录制系统中的数据处理方法,其特征在于,所述方法包括以下步骤:步骤(1)应用deeprior++网络对2D单目深度图进行处理,输出空间偏移量xyz_Offset;

步骤(2)数据增强:对2D单目深度图进行旋转、缩放、以及平移并映射到三维欧氏空间形成点云;映射公式如下:其中,u、v为图像坐标系下的任意坐标点;u0、v0为图像的中心坐标;xω、yω、zω表示世界坐标系下的三维坐标点;zc表示相机在世界坐标系中坐标的z轴值,即2D单目深度图中的动画人物到相机的距离;R,T分别为外参矩阵的3x3旋转矩阵和3x1平移矩阵;

步骤(3)利用步骤(1)得到的空间偏移量xyz_Offset修正步骤(2)得到的点云,然后利用预置参数对修正后的点云进行修剪,初步形成点的集合,将初步形成的点的集合称为体素集Cubic,体素集Cubic为一个空间大小为88x88x88的方块,其中有点的位置标为1,无点的位置标为0;

步骤(4)将步骤(3)得到的体素集Cubic输入三维信息深度学习网络FeSHEN,获取动画人物关节点的最大似然响应位置,之后将关节点的最大似然响应位置映射到世界坐标系中,最终预测出动画人物的18个关节点,得到18个关节点在世界坐标系中的空间坐标;

步骤(5)对18个关节点在世界坐标系中的空间坐标使用平滑方法进行处理,包括变化限制和抖动平滑;其中,变化限制用于防止关节点出现超出人体极限的动作的变化;抖动平滑用于避免因为噪声造成的关节点抖动;

抖动平滑算法如下:

输入:本帧坐标输入值Xt;上帧的输入值Xt-1;

输出:平滑后的输出值

S1计算Xt与Xt-1之间的欧氏距离dis;

S2判断dis的大小,设定抖动限制值Jitter;

如果dis>Jitter,则X′t=Xt;

若dis≤Jitter,判定Xt为抖动,则利用下述公式对Xt进行平滑S3使用霍尔特双指数平滑公式计算本帧的平滑值Yt;

Yt=X′t×(1-Smoothing)+(Xt-1+Tt-1)×Smoothing其中,Smoothing为平滑参数,取值范围为[0,1];Tt-1为上一帧的趋势值,由上一帧的趋势公式计算出;

S4计算平滑值Yt与输入值Xt-1之间差值Dis;

Dis=Yt-Xt-1

S5使用霍尔特双指数趋势公式计算本帧的趋势值Tt;

Tt=Dis×Correction+Tt-1×(1-Correction)其中,Correction是修正参数,取值范围为[0,1];

S6使用霍尔特双指数预测公式计算最终的预测值

其中,Prediction取值为[0,n];

S7使用最大过滤距离MaxDist检查预测值 与输入值Xt之间的欧氏距离DisOut,若DisOut>MaxDist,则最终得到了对于输入值Xt的平滑后的输出值 为一个三维向量,包含了关节点在x、y、z轴上的坐标值;

步骤(6)根据平滑后的输出值 建立基于单目深度图的动画人物绑定录制系统。

2.根据权利要求1所述的方法,其特征在于,所述步骤(6)根据平滑后的输出值 建立基于单目深度图的动画人物绑定录制系统,包括:(1)将输出值 输出到系统的编辑录制模块;

(2)在模型绑定模块建立动画人物模型,将动画人物关节点与骨架模型绑定,生成类人动画模型,输出到系统的编辑录制模块;

(3)编辑录制模块将摄像装置捕获到的人体画面和人体估计模块输出的平滑过的关节点参数,与模型绑定模块建立的动画人物模型进行绑定,完成动画人物录制和绑定任务;

所述编辑录制模块为系统的主界面,用户通过主界面操作选取并预览模型,在确定动画场景和动画人物后,点击使用内嵌视频录制方法进行动画视频的录制,最终生成录制视频。

3.根据权利要求1所述的方法,其特征在于,所述步骤(4)中三维信息深度学习网络FeSHEN的网络结构为:一个卷积块后接一个池化块,之后串联四个ME模块,连续输出两个残差块,最后接一个卷积块;所述ME模块由池化块,残差块,反卷积块和监督块四个模块组成,用于三维体素估计;

其中,残差块的Kernel大小为3x3x3,卷积块和反卷积块的Kernel大小为2x2x2,步长均为2;四个ME模块的监控参数依次为[2,4,8,16],输出参数依次为[8,16,32,64]。

4.根据权利要求1所述的方法,其特征在于,所述步骤(2)中对2D单目深度图进行旋转时,为将2D单目深度图在XY平面[-40,40]角度范围内进行旋转。

5.根据权利要求1所述的方法,其特征在于,所述步骤(2)中对2D单目深度图进行缩放时,缩放倍数范围[0.8,1.2]。

6.根据权利要求1所述的方法,其特征在于,所述步骤(2)中对2D单目深度图进行平移为在[-8,8]体素空间内平移。

7.根据权利要求1所述的方法,其特征在于,所述步骤(5)中变化限制为给关节点进行限制,设置帧与帧之间的变化限制,包括三种方法:①坐标限制,限制各个坐标轴上坐标值的变化范围,进而控制角度变化;

②摆动限制,限制关节点左右与前后的角度变化;

③角度限制,限制关节点在各个方向上的角度变化。

8.根据权利要求1所述的方法,其特征在于,所述步骤(5)抖动平滑算法S3中,平滑参数Smoothing取值越小,则本帧的平滑值Yt受上一帧的影响越小。

9.根据权利要求1所述的方法,其特征在于,所述步骤(5)抖动平滑算法S5中,修正参数Correction取值越大,则对关节点的偏离的修正就越快。

10.根据权利要求1-9任一所述的方法,其特征在于,所述方法基于机器学习与深度学习框架,从单目深度图出发,利用三维信息深度学习网络,估计出图中人体关节点坐标,将估计出的人体关节点坐标估计值引入动画人物绑定录制系统,采用过滤算法对关节点进行平滑处理,最终实现关节点与动画人物绑定录制系统中动画人物的绑定。