欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018100271321
申请人: 中国地质大学(武汉)
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种在线视频聊天的表情显示方法,其特征在于,包含如下步骤:

S1、获取在线视频聊天端的拍摄装置所拍摄的聊天者聊天时的面部的表情图像;

S2、分别对各个拍摄装置的表情图像进行处理;对任一个拍摄装置的表情图像进行处理的方法如下:先将表情图像进行表情分类处理,再将表情图像输入至分类到的表情所对应的强度处理子模型进行处理,得到分类到的表情的强度,其中一个表情分类下的强度处理子模型中具有该表情分类的多个强度;

S3、根据预设的转换关系,将步骤S2得到各表情分类以及对应的表情的强度转换为表情图片/动画显示出来。

2.根据权利要求1所述的表情显示方法,其特征在于,所述将步骤S2得到各表情分类以及对应的表情的强度转换为表情图片/动画显示出来包括:将表情图片/动画在聊天视频显示装置上进行本地显示;或者,

将表情图片/动画发送至聊天对象的聊天视频显示装置上进行显示。

3.根据权利要求1所述的表情显示方法,其特征在于,还包括分别训练各个强度处理子模型的步骤,任意一个强度处理子模型的训练步骤包括:A1、获取某一表情分类下的用于训练的包含人面部分的表情数据库,所述表情数据库包含具有面部表情强度标签的数据库与无面部表情强度标签的数据库;

A2、对所述表情数据库中的图像数据进行预处理,提取出人面部分的数据;

A3、对提取出的人面部分的数据分别进行面部几何特征、局部二值模式和Gabor小波变换三种模式的特征提取;

A4、分别使用全监督模式、半监督模式和无监督模式对步骤A3输出的数据进行训练,得到特征与面部表情强度的关系;

A5、将所述训练后形成的数据分别作为序数随机森林算法的输入进行训练,分别得出面部表情强度处理子模型,将k1*B1+k2*B2+k3*B3作为最终的面部表情强度计算模型,其中系数k1、k2、k3的取值范围均为(0,1),且k1+k2+k3=1,B1、B2、B3分别为同一输入条件下全监督模式、半监督模式和无监督模式对应的输出值;

其中,全监督模式是指采用带有强度标签的图像数据作为该模式的表情数据库进行训练;半监督模式是指采用部分带有强度标签部分不带有强度标签的图像数据作为该模式的表情数据库进行训练;无监督模式是指采用不带有强度标签的图像数据作为该模式的表情数据库进行训练。

4.根据权利要求3所述的表情显示方法,其特征在于,所述步骤A2中预处理包括:人脸特征点定位、人脸识别、图像剪切和直方图均衡化;方案采用主动形状模型ASM获取面部特征点,利用瞳孔间的连线与水平线的夹角,旋转图像使得瞳孔间连线为水平,之后调用OpenCV库中人脸识别框架获取图像数据中人面部分,并且剪切面部区域为M*N像素,最后对剪切后的所有图像数据进行直方图均衡化处理;其中,M、N均为正整数且均大于3。

5.根据权利要求3所述的表情显示方法,其特征在于,所述步骤A3中还包括步骤:采用主成分分析方法,分别对三种模式提取的特征进行处理以降低特征数据的维度。

6.根据权利要求3所述的表情显示方法,其特征在于,所述步骤A3中对于任意一帧:是以该帧中下巴与鼻尖的像素间距离为标准值,将嘴角、下巴、眼角、上下眼皮之间的像素间的相互距离与该帧的标准值的比值作为面部几何特征。

7.根据权利要求3所述的表情显示方法,其特征在于,所述步骤A3中采用局部二值模式提取图像特征时,具体是指将步骤A2中提取出的人面部分的数据分割得到的面部图像均匀分为P*Q块,得到P*Q块(M/P)*(N/Q)的区域,对每一区域进行3*3邻域像素的处理,对比所有像素临近的8个像素的灰度值,若周围像素值大于中心像素值,则该像素点的位置被标记为

1,否则为0,得到8个二进制数,将8位二进制数转换为10进制,得到该像素点的LBP值,最终按行拼接P*Q块图像的LBP值,得到图像的局部二值模式特征;其中,P、Q、M、N均为正整数,M、N分别为人面部分的图像数据的横向、纵向的像素大小。

8.根据权利要求4所述的表情显示方法,其特征在于,所述步骤A3中采用Gabor小波变换进行特征提取具体是指,将剪切后形成的M*N像素的面部图像进行多尺度多方向的Gabor小波变换,每幅图像得到(V*R)*M*N维的特征,V为尺度数,R为方向数。

9.根据权利要求3所述的表情显示方法,其特征在于,所述序数随机森林算法中:对于参与训练的数据库中的图像序列中每一帧,首先进行序数回归分析,预测该帧在各个强度值上的分布比,然后在随机森林算法对该图像序列中的帧进行回归分析时,对每个决策树得到的强度值Q进行加权,所加权重为该帧在单独进行序数回归分析时,分析结果中强度值Q所占的比例。

10.一种在线视频聊天的表情显示系统,其特征在于,采用如权利要求1-9任一项所述的在线视频聊天的表情显示方法进行在线视频聊天的表情显示。