欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2021100198101
申请人: 北京工业大学
专利类型:发明专利
专利状态:授权未缴费
专利领域: 计算;推算;计数
更新日期:2024-11-28
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.结合图卷积神经网络的图像情感极性分类方法,其特征在于,包含如下步骤:

步骤1,获取图像物体信息:利用全景分割模型对数据集中每张图片做全景分割处理,得到图片中物体的类别、位置信息,以SentiWordNet中对词语的标注结果对数据集中全景分割得到的物体类别词语进行情感极性、强度的标注;

步骤2,建立图模型:以物体为节点、物体词语在情感空间的距离倒数为边权重、以物体对应区域的亮度、纹理特征为节点特征,建立相应的图模型;

步骤3,建立深度网络模型:使用基础卷积神经网络模型VGG-16、图卷积模型GCN,将两个模型的输出做合并操作输入全连接层,并以待分类类别数作全连接层输出维度替换原模型最后的分类层;

步骤4,训练模型:将图像经过预处理后,输入到网络模型中,使用随机梯度下降方法进行优化,利用交叉熵函数评价模型性能并对模型参数进行学习;

步骤5,获得待测图像的情感类别:将数据库中的图像经过预处理后,输入到步骤4训练好的模型中,得到对应的情感类别。

2.根据权利要求1所述的方法,其特征在于:在所述步骤1中,利用全景分割算法识别图片的物体信息,并利用情感词典SentiWordNet的词语情感标注方法,具体的计算方法如下:SW=Sp-Sn

其中Sp为物体词语W的积极情感强度、下标p代表积极positive,Sn为物体的消极情感强度、下标n代表消极negative,S′为SentiWordNet中包含当前词语W的名词和形容词,m为S′的个数,S′ip、S′in为SentiWordNet中标注的S′i的积极、消极情感强度,其值在0-1之间,并利用求和平均的方法计算当前词语W的情感值;以每个词语正负情感强度的差值代表当前词语的情感强度SW。

3.根据权利要求1所述的方法,其特征在于:在所述步骤2中,利用全景分割算法得到的物体信息,以图片中包含的物体特征作为图模型的节点,并以词语在情感空间的距离倒数作为图模型中节点之间的边权重;对于图片中包含的多个物体词W1、W2…,采用如下公式计算其中两个词语Wi、Wj在情感空间的距离Si、Sj代表按步骤1中方法计算得到词语Wi、Wj对应情感值,当两个词语的情感极性相反时,以两个词的情感强度差的绝对值加1描述词语在情感空间的距离,当两个词语情感极性相同时以情感强度差的绝对值为情感距离;当两个词情感强度同时为0时,规定两个词的情感距离为0.5,以区分两个中性词语和两个同极性词语的情况;

最后,以两个词语Wi、Wj情感距离的倒数作为图模型中对应节点的边权重Aij,并重复该步骤,分别计算全部词语W1、W2…两两之间的边权重,得到每张图片的边权重矩阵A;

以亮度特征和纹理特征作为图模型中的节点特征;利用全景分割算法中获取的物体位置信息,得到每个物体所在的图像区域;以图片中像素的亮度直方图作为亮度特征,即将物体所在图像区域的像素RGB值转换为HSI空间的色调、饱和度和亮度,同时对亮度值做量化并以量化后的亮度值分布曲线作为亮度特征,将亮度量化为0-255,最终得到256维的特征向量;

同时,对于纹理特征,使用灰度共生矩阵方法对每个物体所在区域计算得到;以45°或者135°方向进行计算,并将计算后的结果量化为256维的特征向量;

最后,将亮度特征与纹理特征做拼接操作,得到512维的特征向量,作为图模型中每个节点对应的特征,并以边权重矩阵A作为图模型的边,建立图模型。

4.根据权利要求1所述的方法,其特征在于:在所述步骤3中,

利用GCN模型提取图模型中的关系特征;使用堆叠GCN的结构实现,使用两层GCN结构,其中当前层k的输入特征Hk为前一层的输出,并采用如下所示的方式计算得到输出结果Hk+1:其中为邻接矩阵即上文根据物体情感值计算得到的边权重A与单位矩阵相加的结果;Wk是当前卷积层k的权重矩阵,由随机初始化得到并在训练过程中根据损失函数进行训练、调整直到训练结束;σ是非线性激活函数,由下式计算得到:其中为中的元素,i代表中的坐标,为的元素,ij为中的坐标;

经过GCN模型的计算,得到关系特征为2048*1维的特征向量;

对于视觉特征,采用VGG16,获取在ImageNet上预训练好的VGG16模型,加载后去除最后的输入维度为2048*1024,输出维度为1024*1的分类层,将其输出维度调整为2048*1,作为视觉特征;

将关系特征与视觉特征做拼接处理,得到4096*1的特征向量并输入全连接层实现对图片情感的分类。

5.根据权利要求1所述的方法,其特征在于:在所述步骤4中,损失函数使用交叉熵损失来进行基本的损失度量;具体损失函数如下:其中o为训练时每批次的图像数量,N为数据集情感类别的数量,xp为该批次中第p张图片从步骤3中的基础骨干网络在分类层之前得到的特征;w和b即为分类层中的权重和偏置参数值,由随机初始化得到并在训练过程中根据损失函数进行训练、调整直到训练结束,下标yq表示分类层之后预测的类别,q代表预测结果对应的类别编号,其中表示该批次第i张图片判断为yp类别时在分类层中的偏置参数的值;

在训练过程中,以0.01为初始学习率,学习率每20轮下降为当前学习率的十分之一,训练次数达到80以上后结束训练。