1.一种语义标签挖掘的微表情计算方法,包括如下步骤:
S1:选取源域公用微表情数据集A=[V1,V2,V3,…Vt]T进行图像的补齐、统一大小、图像灰值化等预处理;
S2:采用人脸配准方法获取脸部的o1,o2,o3,…,ol的关键点坐标定位,其中通过
4个坐标点唯一确定一个Ri矩形框的方法进行脸部器官划分,通过脸部区域的分析获取R1,R2,R3,…Rn个器官区域;
S3:通过步骤S2的R1,R2,R3,…Rn矩形框对数据集A中所有视频帧图片进行自动划分,将每一帧微表情图像帧 划分为 共n个区域,由此可以获取一个基于n个器官区域的数据集向量A′=[A′1,A′2,A′3,…,A′a,…,A′n]T;
S4:采用图像纹理特征提取方法提取A′图像数据的纹理特征,获取A′1,A′2,A′3,…,A′a,…,A′n器官区域集合纹理特征集δ,其中δ=[δ1,δ2,δ3,…,δa,…,δn]T,并且A′与δ呈一一映射关系,其中δa:S5:基于图像的纹理数据特征的数据结构选取优良的聚类集成方法,通过聚类评价指标Φ选取最优化的聚类参数对δ=[δ1,δ2,δ3,…,δa,…,δn]T特征集进行n个器官区域的多任务语义标签挖掘;
S6:通过步骤S5的语义挖掘方法,构建多器官区域的语义库模型f(δ)=[f(δ1),f(δ2),f(δ3),…,f(δn)]T;
S7:选取目标域数据集B=[V1′,V2′,V3′,…Vm′]T,V1′,V2′,V3′,…Vm′为数据集中的m个微表情视频文件,并且S8:重复步骤S2-S3进行目标域数据的器官区域划分,则每一个Vi′视频可划分成 图片帧域和 微表情标签域,目标域B可转变为 形式的数据集合;
S9:通过对 微表情特征中 图片帧集合的纹理特征,获取每一个视频文件的纹理特征 则数据集B的纹理特征
S10:将 纹理特征集与f(δ)=[f(δ1),f(δ2),f(δ3),…,f(δn)]T语义库模型进行形态语义模型匹配,匹配按照 的原则;
S11:完成步骤S10依据所有视频帧图片 基于 纹理特征与f(δ)语义库模型提取视频帧形态变化的核序列特征集 则数据集B转变为脸部变化形态的核序列特征与微表情标签的关联数据,记为
S12:将 核序列特征进行降维处理后作为输入, 作为输出代入分类器模型进行语义标签挖掘模型的构建,训练完成后保存分类器算法对应模型记为M_Model,至此一种语义标签挖掘的微表情计算方法模型构建完毕。
2.根据权利要求1所述的一种语义标签挖掘的微表情计算方法,其特征在于:步骤S1中V1,V2,V3,…Vt代表数据集的t个微表情视频数据文件,并且视频帧补齐后每个视频由k帧图片构成,将其可表示为 其中A的详细表达:
3.根据权利要求2所述的一种语义标签挖掘的微表情计算方法,其特征在于,所述步骤S3中数据集A共S=t*k张视频帧图片,所述A′a表示数据集A中S=t*k张视频帧图片器官a区域的图片帧集合并且
4.根据权利要求1所述的一种语义标签挖掘的微表情计算方法,其特征在于:所述步骤S6中,其中f(δ)与δ呈一一映射关系,f(δ1),f(δ2),f(δ3),…,f(δn)的形态种类由聚类评价指标Φ分别确定形态种类r,且r不唯一,由此 代表a器官区域的第t种形态类型,f(δa)语义库共包含ra种形态类型。
5.根据权利要求1所述的一种语义标签挖掘的微表情计算方法,其特征在于:所述步骤S7中,其中 表示Vi′个微表情视频文件的k张图片帧,Yi表示该视频所对应的微表情标签,由此目标域数据可以表示为如下B矩阵:
6.根据权利要求1所述的一种语义标签挖掘的微表情计算方法,其特征在于:所述步骤S8中,其中
7.根据权利要求1所述的一种语义标签挖掘的微表情计算方法,其特征在于:所述步骤S9中,其中 记为:
8.根据权利要求1所述的一种语义标签挖掘的微表情计算方法,其特征在于:所述步骤S10中,其中 是第Vi′个视频帧图片匹配的核序列特征,其中 指代当前视频文件在第n个器官区域的形态语义变化的核序列特征,详细变化如下所示: