1.一种基于立体人脸的增益人脸合成方法,其特征在于:其步骤在于:
第一步:获取立体人脸图像并取得标定点集;
第二步:基于第一步中的标定点集做三角剖分,利用标定点线性链表和标定点相关的三角子集线性链表进行组织,从而使三角集有序,判断两个三角集中共有元素和非共有元素分别作为双向性三元组和非双向性三元组;
第三步:利用第二步中的双向性三元组完成到参考人脸中对应人脸三角的纹理映射;
第四步:利用第二步中的非双向性三元组完成到参考人脸中对应人脸三角的纹理映射;
第五步:使用第三步和第四步的映射结果合成增益人脸,分别从双向性三元组和非双向性三元组的对应区域提取特征,且利用权值衡量贡献;
第一步执行方法如下:
(1‑1)利用双目立体视觉摄像头Bumblebee2捕获立体人脸图像f1(x,y)和f2(x,y),两者中均包含单一人脸;
(1‑2)使用Adaboost人脸分类器分别确定f1(x,y)和f2(x,y)中脸区r1(x,y)和r2(x,y);
(1‑3)通过受限局部模型(68)配准r1(x,y)和r2(x,y),取得标定点集,分别为第一标定点集FL1和第二标定点集FL2,保持标定点集中元素的有序且使用索引;
第二步执行方法如下:
(2‑1)分别基于第一标定点集FL1和第二标定点集FL2做Delaunay三角剖分,得出第一三角集FT1和第二三角集FT2,通过三元组表示集合中元素且利用三角形顶点的索引表示三元组;
(2‑2)按标定点索引顺序构造线性链表,依次遍历第一三角集FT1中元素且链接三元组到最早出现的链表节点,对第二三角集FT2执行同样过程;
(2‑3)顺序遍历两个标定点线性链表,依靠三角形的顶点索引比对,判断第一三角集FT1和第二三角集FT2中共有节点且作为双向性三元组,判断第一三角集FT1和第二三角集FT2中非共有节点作为非双向性三元组;
(2‑4)按标定点索引顺序构造新的线性链表,把每个双向性三元组链接到最早出现的链表节点。
2.根据权利要求1所述的一种基于立体人脸的增益人脸合成方法,其特征在于:第三步具体操作如下:把广义布鲁克分析应用于正面人脸训练集以移除平移、尺度和旋转影响,计算正面人脸均值形状模型且作为参考人脸,按标定点索引顺序遍历存放双向性三元组的线性链表,依次处理每个标定点的线性链表,逐一取出每个双向性三元组,分别确定从第一三角集FT1和第二三角集FT2中对应三角形到均值形状模型对应三角形的仿射变换,在三角形间作纹理映射,取均值作为参考人脸的对应三角内纹理,设置权值为w1。
3.根据权利要求1所述的一种基于立体人脸的增益人脸合成方法,其特征在于:第四步操作如下:按标定点索引顺序遍历存放第一三角集FT1的线性链表,依次处理每个标定点的线性链表,逐一取出每个非双向性三元组,确定从第一三角集FT1中对应三角形到均值形状模型对应三角形的仿射变换,在三角形间作纹理映射,设置权值为w2;对第二三角集FT2的线性链表执行同样过程;
同一标定点的两个线性链表的部分三元组相同,部分三元组不相同;找到双向性三元组和非双向性三元组对应三角形到参考人脸对应三角形的仿射变换,映射三角形内纹理到参考人脸的对应三角。
4.根据权利要求1所述的一种利用立体人脸的增益人脸合成方法,其特征在于:第五步中,分别从双向性三元组集和非双向性三元组集所对应区域提取增益人脸特征,且利用权值w1和w2衡量贡献,进行加权度量;
增益人脸特征表示和加权度量的公式如下:
其中,TRL和TRN分别表示双向性三元组集对应的三角区域集和非双向性三元组集对应的三角区域集,显著性用权值w1∈[0.6,1]和w2∈[0,0.5]度量,T表示特征提取和表示。
5.根据权利要求1所述的利用立体人脸的增益人脸合成方法,其特征在于:(2‑2)步骤中链接FT1或者FT2中三元组到最早出现的链表节点的公式如下:c c c
其中,M表示标定点数量且按从1到M顺序组成链表结构,vi 、vj、vk分别表示第c个三角的顶点的索引值。
6.根据权利要求1所述的一种基于立体人脸的增益人脸合成方法,其特征在于:从第一三角集FT1或者第二三角集FT2的三角形到参考人脸的对应三角形的仿射变换公式如下:其中,(xi,yi)、(xj,yj)和(xk,yk)是FT1或者FT2中三角形的三个顶点坐标,(xi′,yi′)、(xj′,yj′)和(xk′,yk′)分别是(xi,yi)、(xj,yj)和(xk,yk)在参考人脸中对应顶点的坐标,a、b、c、d、tx和ty是仿射变换参数。
7.根据权利要求4所述的一种基于立体人脸的增益人脸合成方法,其特征在于:区分对待由双向性三元组和非双向性三元组对应三角形变换到参考人脸所取得区域的纹理,分别赋予权重w1和w2;第五步骤中特征提取时两类区域分别进行且利用权重衡量贡献;
利用纹理叠置增益参考人脸中双向性三元组对应的区域,为补偿非双向性三元组对应的区域,做插值运算;调整权重w1和w2,使映射完成后从参考人脸提取的特征更具辨识力,增大w1,增强从双向性三元组的对应区域取得特征的贡献,而增大w2,增强从非双向性三元组的对应区域取得特征的贡献,w1+w2=1。
8.一种应用如权利要求1所述的基于立体人脸的增益人脸合成方法的合成系统,其特征在于:该系统包括:标定点集取得模块、三角剖分模块、双向性三元组纹理映射模块、非双向性三元组纹理映射模块和增益人脸合成模块;
标定点集取得模块获取立体人脸图像并取得标定点集;
三角剖分模块基于标定点集取得模块中的标定点集做三角剖分,利用标定点线性链表和标定点相关的三角子集线性链表使三角集有序,判断两个三角集中共有元素和非共有元素分别作为双向性三元组和非双向性三元组;
双向性三元组纹理映射模块利用三角剖分模块中的双向性三元组完成到参考人脸中对应人脸三角的纹理映射;
非双向性三元组纹理映射模块利用三角剖分模块中的非双向性三元组完成到参考人脸中对应人脸三角的纹理映射;
增益人脸合成模块使用双向性三元组纹理映射模块和非双向性三元组纹理映射模块的映射结果合成增益人脸,分别从双向性三元组和非双向性三元组的对应区域提取特征,且利用权值衡量贡献。