欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023112386257
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多分支融合注意力机制的情绪识别方法,其特征在于,包括:

采集目标本体数据及区域环境数据,对目标本体数据和区域环境数据进行数据预处理和关键帧提取获得目标本体图像和区域环境图像;

将目标本体图像和区域环境图像输入至预先训练的情绪识别模型获得情绪识别结果,过程包括:将目标本体图像输入至情绪识别模型的目标本体分支网络获得目标本体面部特征和目标本体行为特征,具体包括:将目标本体图像输入至目标本体分支网络的目标本体面部特征提取单元,获得目标本体面部特征;将目标本体图像输入至目标本体分支网络的目标本体行为特征提取单元,获得目标本体行为特征;

所述目标本体面部特征提取单元和目标本体行为特征提取单元包括CNN网络模块和注意力机制模块;所述CNN网络模块内依次设置有卷积层、批量归一化层和GELU激活函数层;所述注意力机制模块设置为ECA注意力机制;

将目标本体图像依次输入至卷积层、批量归一化层和GELU激活函数层获得特征图,同时将目标本体图像输入至注意力机制模块获得注意力权重,将特征图和注意力权重进行点乘输出目标本体面部特征或目标本体行为特征;

对所述目标面部特征和目标行为特征进行融合获得目标本体情绪特征;

将区域环境图像输入至情绪识别模型的环境影响分支网络获得环境影响特征,具体包括:

将区域环境图像输入至环境影响分支网的FPN特征提取模块,所述FPN特征提取模块包括VGG网络单元、VGG网络单元、VGG网络单元、VGG网络单元和VGG网络单元;

由VGG网络单元、VGG网络单元、VGG网络单元、VGG网络单元和VGG网络单元对所述区域环境图像依次进行下采样处理,通过VGG网络单元、VGG网络单元、VGG网络单元和VGG网络单元分别输出特征图、特征图、特征图和特征图;

采用双立方插值法对特征图进行上采样获得特征图;采用双立方插值法对特征图进行上采样后和特征图对应位置相加获得特征图;采用双立方插值法对特征图进行上采样后和特征图对应位置相加获得特征图;采用双立方插值法对特征图进行上采样后和特征图对应位置相加获得特征图;

由特征图、特征图、特征图和特征图构成特征金字塔;

将特征金字塔依次输出至全局平均汇聚层和两层全连接层,输出环境影响特征;

将环境影响特征和目标本体情绪特征进行特征融合获得特征向量;利用所述情绪识别模型的目标情绪分类器对特征向量进行分类输出情绪识别结果。

2.根据权利要求1所述的情绪识别方法,其特征在于,对目标本体数据和区域环境数据进行数据预处理和关键帧提取获得目标本体图像和区域环境图像的方法包括:对目标本体数据中的各帧画面和区域环境数据中的各帧画面进行感兴趣区域标定,并对标定后的目标本体数据和目标本体数据进行降噪和数据增强处理;对目标本体数据的各帧画面和区域环境数据的各帧画面中感兴趣区域进行定位裁剪和关键点标注;

利用Lucas-Kanade光流方法计算各帧画面中感兴趣区域的平均光流;将平均光流大于设定阈值T的感兴趣区域所在帧画面进行关键帧提取,获得目标本体图像和区域环境图像;按照光流强度将目标本体图像和区域环境图像插入候选帧优先级队列,用于限定目标本体图像和区域环境图像输入至预先训练的情绪识别模型的顺序。

3.根据权利要求1所述的情绪识别方法,其特征在于,所述情绪识别模型的训练过程包括:

采集训练样本构建为训练数据集合,并利用训练数据集合对情绪识别模型进行训练,通过情绪识别模型输出的情绪识别训练结果;使用交叉熵损失函数计算情绪识别训练结果和训练样本情绪标签之间的损失值Loss(w);基于损失值Loss(w)并使用Adam优化器自适应调整情绪识别模型参数;重复迭代情绪识别模型的训练过程,直至达到设定迭代次数输出训练后的情绪识别模型。

4.根据权利要求3所述的情绪识别方法,其特征在于,使用交叉熵损失函数计算情绪识别训练结果和训练样本情绪标签之间的损失值Loss(w),表达公式为:;

公式中,表示训练数据集合的训练样本数量,表示情绪类别数量,表示第个训练样本的情绪标签是否属于类别,表示情绪识别模型将第个训练样本映射到情绪类别的预测概率。

5.一种基于多分支融合注意力机制的情绪识别系统,其特征在于,包括云端服务器和边缘平台;所述云端服务器与边缘平台之间双向通信连接;所述边缘平台内设有多个智能体;所述智能体用于执行权利要求3至4任一项所述的情绪识别方法;

所述智能体内设置于Actor网络预测子平台和Critic网络评价子平台;各智能体内的Critic网络评价子平台依次双向通信连接;所述Actor网络预测子平台用于将目标本体图像和区域环境图像输入至预先训练的情绪识别模型获得情绪识别结果;所述Critic网络评价子平台用于使用交叉熵损失函数计算情绪识别训练结果和训练样本情绪标签之间的损失值Loss(w)。

6.根据权利要求5所述的情绪识别系统,其特征在于,所述边缘平台计算各智能体中情绪识别模型的情绪识别置信度,当边缘平台内存在置信度低于设定的置信度阈值的情绪识别模型时,所述边缘平台进行本地训练,输出训练后的边缘平台参数;所述边缘平台参数包括最优化联合策略H和情绪识别模型参数;

所述边缘平台将训练后的边缘平台参数进行编码上传至云端服务器;云端服务器接收边缘平台参数并进行解码,将优化后边缘平台参数下发给其他边缘设备。

7.根据权利要求6所述的情绪识别系统,其特征在于,所述边缘平台进行本地训练输出训练后的边缘平台参数的方法包括:采集训练样本构建为训练数据集合,并利用训练数据集合对各智能体中的情绪识别模型进行训练;在训练过程中基于马尔可夫决策方法建立马尔可夫四元组;其中,S表示为各情绪识别模型提取的特征向量的数据集合,A表示为目标本体的情绪状态;表示第i个智能体中情绪识别模型的奖励函数;表示为折扣因子;

根据马尔可夫四元组计算所有智能体中情绪识别模型的训练总回报,以获取最大训练总回报为目标,对各智能体中情绪识别模型的参数以及权重进行优化,重复迭代边缘平台对各智能体权重的优化过程,直至达到设定迭代次数输出最优化联合策略H和训练后的情绪识别模型的参数。