欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202010405643X
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于注意力机制的CNN-RNN图像情感分析方法,其特征在于,包括5个分支的ResNet-50卷积神经网络、双向循环神经网络GRU以及注意力机制层;所述5个分支的ResNet-50卷积神经网络包括全连接层、Softmax分类器;

包括步骤:

S1.通过ResNet-50卷积神经网络获取图像的特征,并通过ResNet-50卷积神经网络的5个分支分别提取不同抽象层次的图像特征;

S2.将提取的不同抽象层次的图像特征输入至双向循环神经网络GRU中,通过双向循环神经网络GRU捕获不同抽象层次的依赖关系,得到不同层次的图像特征;

S3.通过注意力机制层确定不同层次特征对图像情感影响的注意力权重系数,利用确定的注意力权重系数对双向循环神经网络GRU输出的不同层次的图像特征进行加权线性组合,得到最终特征;

S4.将得到的最终特征通过全连接层和Softmax分类器处理,得到注意力机制的图像情感分析模型;

S5.当得到注意力机制的图像情感分析模型后,对所述图像情感分析模型进行训练并将所述模型应用于图像情感分析中进行分析。

2.根据权利要求1所述的一种基于注意力机制的CNN-RNN图像情感分析方法,其特征在于,所述5个分支的ResNet-50卷积神经网络还包括卷积层、平均池化层;所述步骤S1中获取图像的特征是通过卷积层运算进行提取的。

3.根据权利要求2所述的一种基于注意力机制的CNN-RNN图像情感分析方法,其特征在于,所述步骤S1中提取不同抽象层次的图像特征包括浅层次特征、中间层特征、高层次特征;所述步骤S1中提取不同抽象层次的图像特征后还包括对提起的中间层特征进行降维处理。

4.根据权利要求1所述的一种基于注意力机制的CNN-RNN图像情感分析方法,其特征在于,所述步骤S2之前还包括:通过循环神经网络RNN捕捉不同层次特征间的依赖关系。

5.根据权利要求1所述的一种基于注意力机制的CNN-RNN图像情感分析方法,其特征在于,所述步骤S2中通过双向循环神经网络GRU捕获不同抽象层次的依赖关系,表示为:rt=σ(WvrVt+Whrht-1+br)

zt=σ(WvzVt+Whzht-1+bz)

其中,rt、zt、 ht分别表示重置门、更新门、候选隐藏状态、隐藏状态;Wvr表示输入-重置门权重矩阵;Vt表示第t个输入特征向量;Whr表示隐藏状态-重置门权重矩阵;ht-1表示隐藏状态;br表示重置门偏置值;Wvz表示输入-更新门权重矩阵; 表示输入-候选隐藏状态权重矩阵;Whz表示候选状态-更新门权重矩阵; 表示输入隐藏状态-候选隐藏状态权重矩阵;bz表示更新门偏置值; 表示候选隐藏状态偏置值。

6.根据权利要求5所述的一种基于注意力机制的CNN-RNN图像情感分析方法,其特征在于,所述步骤S3中通过注意力机制层确定不同层次特征对图像情感影响的注意力权重系数,表示为:et=Metanh(MuHt+pu)

其中,Mu、Me表示权重矩阵;pu表示偏置项;Mu、Me、pu均为学习参数;et表示能量值;Ht表示第t个隐藏状态;αt表示权重系数。

7.根据权利要求6所述的一种基于注意力机制的CNN-RNN图像情感分析方法,其特征在于,所述步骤S3中利用确定的注意力权重系数对双向循环神经网络GRU输出的不同层次的图像特征进行加权线性组合,得到最终特征,表示为:S=∑tαtHt

其中,S表示最终特征;αt表示权重系数;Ht表示第t个隐藏状态。

8.根据权利要求7所述的一种基于注意力机制的CNN-RNN图像情感分析方法,其特征在于,所述步骤S4中将得到的最终特征通过全连接层和Softmax分类器处理,表示为:Q=tanh(KqS+fq)

其中,Kq表示权重矩阵,fq表示偏置项,Kq、fq均为学习参数;S表示最终特征;Qi表示向量Q的第i个分量,Q∈R8;yi表示样本属于第i类的概率。

9.根据权利要求1所述的一种基于注意力机制的CNN-RNN图像情感分析方法,其特征在于,所述步骤S5对图像情感分析模型进行训练中所训练的数据集包括含愉悦、愤怒、敬畏、满足、恶心、兴奋、恐惧、悲伤中的一种或多种。

10.根据权利要求9所述的一种基于注意力机制的CNN-RNN图像情感分析方法,其特征在于,所述步骤S5对图像情感分析模型进行训练中还包括将Focal损失函数引入所述图像情感分析模型中,以平衡训练数据集中的类别样本,表示为:其中,βi表示平衡参数;mi表示第i类的样本数量。