1.一种基于局部与整体特征自适应融合的表情识别方法,其特征在于,该方法包含以下步骤:(1)获取包含类别标签的表情图像集;
(2)对表情图像集中的图像进行人脸检测、裁剪和对齐处理;
(3)构建表情识别模型,该模型包括数据处理模块、特征提取模块、特征融合模块和分类层;
所述数据处理模块,使用滑动的采样窗口对输入的人脸整体图像进行K次采样,得到K个人脸局部区域图像,并对K个人脸局部区域图像的大小进行归一化,统一调整到与输入的人脸整体图像相同的大小,其中,采样窗口的滑动步长是固定或随机的,采样窗口的大小介于人脸整体图像大小的1/4到3/4之间,K的取值介于4到16之间的整数;
所述特征提取模块,用于提取人脸整体图像及其K个人脸局部区域图像的特征向量,该模块包含(K+1)个相同结构的特征提取单元,人脸整体图像及其K个人脸局部区域图像并行输入到(K+1)个特征提取单元中,同时提取到(K+1)个特征向量;
所述特征融合模块,用于将特征提取模块输出的(K+1)个特征向量根据注意力权重自适应融合,该模块包括注意力机制模块、特征选择单元和累加器,其中注意力机制模块用于确定(K+1)个特征向量的注意力权重;特征选择单元用于筛选保留权重较大的重要特征向量;累加器用于将保留的重要特征向量进行加权融合,得到融合特征向量;
所述分类层,用于对特征融合模块输出的表情特征向量进行分类识别,得到表情类别;
(4)使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练,通过误差反向传播算法调整表情识别模型的参数至最优;
(5)利用训练好的表情识别模型对新输入的测试图像进行表情分类识别;
所述步骤(4)中的训练过程,包括以下子步骤:
(4.1)将预处理后的人脸整体图像输入到表情识别模型的数据处理模块,得到K个大小归一化后的人脸局部区域图像;
(4.2)将人脸整体图像及其K个人脸局部区域图像并行输入到特征提取模块的(K+1)个特征提取单元中,分别输出(K+1)个特征向量;
(4.3)在每轮训练中,调整注意力机制模块的参数,计算出(K+1)个特征向量的注意力权重;特征选择单元以人脸整体图像特征向量的注意力权重作为设定阈值,保留注意力权重大于或等于设定阈值的特征向量,剔除注意力权重小于设定阈值的特征向量;累加器将注意力权重大于或等于设定阈值的特征向量进行加权融合,输出融合特征向量;
(4.4)分类层对特征融合模块输出的融合特征向量进行分类,分类层损失函数是在交叉熵损失函数的基础上加入基于注意力权重的约束项,通过误差反向传播算法调整表情识别模型的参数,使用表情图像集中的图像作为训练样本,不断迭代训练过程直至模型参数达到最优。
2.根据权利要求1所述的基于局部与整体特征自适应融合的表情识别方法,其特征在于,所述步骤(4.3)包括以下子步骤:(4.3.1)将人脸整体图像的特征向量表示为F0,将第k个人脸局部区域图像的特征向量表示为Fk,其中k=1,2,…,K,运用注意力机制得到第j个特征向量Fj的注意力权重为:0
μj=σ(Fj·q)
0
其中,q为查询向量,σ(·)为Sigmoid函数,j=0,1,2,…,K;
(4.3.2)在每轮训练中,设训练得到人脸整体图像特征向量的注意力权重为μ0,特征选择单元以μ0作为设定阈值,将第k个人脸局部区域图像特征向量的注意力权重μk与μ0进行比较,如果μk大于或等于μ0,则特征选择单元保留相应的特征向量Fk参与后续的特征融合;如果μk小于μ0,则特征选择单元剔除相应的特征向量Fk,令μk=0,Fk不参与后续的特征融合;
(4.3.3)设所有大于或等于μ0的注意力权重的集合为:
{μm|μm≥μ0,0≤m≤K}
定义 为所有大于或等于μ0的注意力权重的均值,即
将注意力权重大于或等于μ0的所有特征向量进行加权融合,得到融合特征向量F为:
其中0≤m≤K。
3.根据权利要求1所述的基于局部与整体特征自适应融合的表情识别方法,其特征在于,所述步骤(4.4)中分类层损失函数的定义为:其中,第一项为交叉熵损失函数,c为表情类别标签,c∈[1,n],n为表情类别总数,qc表示训练样本属于第c类表情的真实概率,pc表示训练样本被预测为第c类表情的预测概率;
第二项为基于注意力权重的约束项,用于强制表情识别模型更加关注未被遮挡且比人脸整体图像更有鉴别力的人脸局部区域图像的特征,μ0为人脸整体图像特征向量的注意力权重, 为所有大于或等于μ0的注意力权重的均值,β为人为设定的超参数,在0.02至0.2之间取值。
4.一种基于局部与整体特征自适应融合的表情识别系统,其特征在于,包括:
预处理模块,用于获取包含类别标签的表情图像集,对表情图像集中的图像进行人脸检测、裁剪和对齐处理;
网络模型构建模块,用于构建表情识别模型,该模型包括数据处理模块、特征提取模块、特征融合模块和分类层;
所述数据处理模块,使用滑动的采样窗口对输入的人脸整体图像进行K次采样,得到K个人脸局部区域图像,并对K个人脸局部区域图像的大小进行归一化,统一调整到与输入的人脸整体图像相同的大小,其中,采样窗口的滑动步长是固定或随机的,采样窗口的大小介于人脸整体图像大小的1/4到3/4之间,K的取值介于4到16之间的整数;
所述特征提取模块,用于提取人脸整体图像及其K个人脸局部区域图像的特征向量,该模块包含(K+1)个相同结构的特征提取单元,人脸整体图像及其K个人脸局部区域图像并行输入到(K+1)个特征提取单元中,同时提取到(K+1)个特征向量;
所述特征融合模块,用于将特征提取模块输出的(K+1)个特征向量根据注意力权重自适应融合,该模块包括注意力机制模块、特征选择单元和累加器,其中注意力机制模块用于确定(K+1)个特征向量的注意力权重;特征选择单元用于筛选保留权重较大的重要特征向量;累加器用于将保留的重要特征向量进行加权融合,得到融合特征向量;
所述分类层,用于对特征融合模块输出的表情特征向量进行分类识别,得到表情类别;
网络训练模块,用于使用表情图像集中的图像作为训练样本对构建的表情识别模型进行训练,通过误差反向传播算法调整表情识别模型的参数至最优;所述网络训练模块的训练过程,包括:将预处理后的人脸整体图像输入到表情识别模型的数据处理模块,得到K个大小归一化后的人脸局部区域图像;将人脸整体图像及其K个人脸局部区域图像并行输入到特征提取模块的(K+1)个特征提取单元中,分别输出(K+1)个特征向量;在每轮训练中,调整注意力机制模块的参数,计算出(K+1)个特征向量的注意力权重;特征选择单元以人脸整体图像特征向量的注意力权重作为设定阈值,保留注意力权重大于或等于设定阈值的特征向量,剔除注意力权重小于设定阈值的特征向量;累加器将注意力权重大于或等于设定阈值的特征向量进行加权融合,输出融合特征向量;分类层对特征融合模块输出的融合特征向量进行分类,分类层损失函数是在交叉熵损失函数的基础上加入基于注意力权重的约束项,通过误差反向传播算法调整表情识别模型的参数,使用表情图像集中的图像作为训练样本,不断迭代训练过程直至模型参数达到最优;
以及,表情识别模块,用于利用训练好的表情识别模型对新输入的测试图像进行表情分类识别。
5.一种计算机系统,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述计算机程序被加载至处理器时实现根据权利要求1‑3任一项所述的一种基于局部与整体特征自适应融合的表情识别方法。