欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022101606263
申请人: 中南林业科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-01-27
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种半监督人脸情绪识别方法,其特征在于包括如下步骤:

S1.获取基础图像数据样本,包括标签数据和无标签数据;

S2.采用CNN-LSTM回归器对标签数据进行预测,计算预测值和标签值之间的距离作为监督损失;

通过CNN-LSTM回归器,使用微调MixUp和时间集成为无标签数据生成平滑伪标签,将平滑伪标签和预测值之间的距离作为半监督损失;

S3.构建基于相似性学习的三元组损失,包括对图像数据的深度特征进行聚类,基于聚类结果构建三元组,通过三元组之间的相似度计算相似性三元组损失,并根据梯度下降更新网络参数;包括如下步骤:A1.对图像的深度特征进行聚类:

A2.通过一次迭代后CNN提取的样本特征计算加权项,将加权项加入聚类中心中进行更新;

A3.给定一个批处理的样本,对批处理的样本中的数据构建三元组,得到聚类空间的数据的激活矩阵,并计算数据间的相似性与差异性损失;通过数据间的相似性和差异性损失获取最终的相似性三元组损失;

具体实施时,包括给定一个批处理的样本,构建三元组,三元组包括每个批处理中标签数据、聚类空间中与每个批处理中标签数据同类中距离最远的数据和聚类空间中与每个批处理中标签数据异类中距离最近的数据;每个批处理中标签数据对激活图的激活模式进行的编码为,每个批处理中标签数据在CNN中的激活通道的重塑矩阵及其转置的积;对每个批处理中标签数据对激活图的激活模式进行的编码进行逐行归一化求得每个批处理中标签数据的激活矩阵;同时求解聚类空间中与每个批处理中标签数据同类中距离最远的数据的激活矩阵,和聚类空间中与每个批处理中标签数据异类中距离最近的数据的激活矩阵;

定义数据间的相似性为激活矩阵之间的差值,求解激活矩阵之间的差值,包括:求解每个批处理中标签数据的激活矩阵,和聚类空间中与每个批处理中标签数据同类中距离最远的数据的激活矩阵之间的差值;

计算差异性损失,包括:求解每个批处理中标签数据的激活矩阵,和聚类空间中与每个批处理中标签数据异类中距离最近的数据的激活矩阵的差异性损失;

求得相似性三元组损失为:每个批处理中标签数据的激活矩阵,和聚类空间中与每个批处理中标签数据同类中距离最远的数据的激活矩阵之间的差值,减去每个批处理中标签数据的激活矩阵,和聚类空间中与每个批处理中标签数据异类中距离最近的数据的激活矩阵的差异性损失;

S4.通过监督损失、半监督损失和相似性三元组损失的加权构建CNN-LSTM回归器的完整损失函数,根据损失值和梯度下降更新网络参数获取半监督人脸情绪识别模型,并对当前的人脸图像数据进行情绪分析。

2.根据权利要求1所述的半监督人脸情绪识别方法,其特征在于所述的CNN-LSTM回归器,包括在每一帧中,使用S3D人脸检测算法对图像的人脸区域进行检测;利用基于ResNet的CNN编码器提取深度特征;在引入LSTM之前,通过全连接层将提取的特征长度调整为2048;在引入LSTM之后,分别由两个不同的全连接层输出激励和效价;LSTM包括遗忘门、输入门和输出门。

3.根据权利要求2所述的半监督人脸情绪识别方法,其特征在于所述的步骤S2包括,对无标签数据进行数据扩充,然后对扩充数据的预测取均值;使用微调MixUp对标签数据与无标签数据混合后得到目标数据;网络对目标数据进行预测并计算损失函数。

4.根据权利要求1所述的半监督人脸情绪识别方法,其特征在于所述的步骤A1,包括对于给定的基础图像数据样本,对初始的标签数据的深度特征进行聚类后得到初始聚类中心;在训练过程中,将无标签数据和标签数据同时输入到CNN-LSTM回归器中,计算与基础图像数据样本距离最小的聚类中心,同时基础图像数据样本的聚类类别由与其距离最小的聚类中心决定。

5.根据权利要求4所述的半监督人脸情绪识别方法,其特征在于所述的步骤A2包括,根据一次迭代后CNN提取的样本特征计算加权项包括通过初始聚类深度特征之和和基础图像数据样本距离最小的聚类中心的倒数的积,与经过一次迭代后CNN提取的样本特征与经过一次迭代后与基础图像数据样本距离最小的聚类中心的倒数的积求和,一直迭代到预定迭代终止次数;迭代后聚类空间中样本间的距离为两个不同的基础图像数据样本的特征向量的欧几里得范数。

6.根据权利要求1所述的半监督人脸情绪识别方法,其特征在于所述的步骤S2,包括:对于无标签数据,使CNN-LSTM回归器从平滑的标签学习,第一次对无标签数据进行数据扩充:其中,q表示取均值后的预测分布;k表示数据扩充的次数;i表示给定的基础图像数据样本的计数变量;P将标签数据(x

x′=λ′x

其中,α表示超参数;λ′=max(λ,1-λ),λ~Bata(α,α),λ表示从Beta分布中随机取出的值,λ′表示λ与1-λ间的最大值;max(·)表示取其中的最大值;Beta(·)表示Beta分布;

对目标数据

其中,P表示最终得到的伪标签;P

L

其中,||·||

采用交叉熵计算监督损失L

其中,P