欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024119274859
申请人: 湖北工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种情感增益下特征互补的图像情感分类方法,其特征在于,包括以下步骤:S1:图像预处理,将图像数据集FI分为训练集A1和测试集A2,将训练集A1的图像进行随机缩放裁剪,最后得到448×448×3尺寸的图像集合B;

S2:将448×448×3尺寸的图像集合B划分为16×16的图像块,通过vit网络模型先提取到16×16图像块的上下文和全局信息特征,通过情感增益的方法得到情感增益特征Xtemo,将上下文和全局信息特征与情感增益特征Xtemo融合得到图像特征X1;

S3:对图像特征X1通过CBR卷积块得到显著性特征XE和通过潜在性特征挖掘的方法得到潜在性特征XS,然后将显著性特征接入到L个Transformer编码块,会获得最终的显著性特征XE1和L个潜在性特征,最后将这两种特征以互补的形式挖掘图像的情感特征,得到最终的情感特征XFIN;

S4:将得到的情感特征XFIN输入到一个多层感知机分类头中,带有标签的图像集合B对多层感知机分类头进行训练,将测试集A2的测试图像经过固定尺寸放缩和中心裁剪的处理步骤后,输入到训练好的vit网络模型中,得到对应的情感类别;

S5:取图像数据集Emotion6重复步骤S1-S4,得到对应的情感类别;

所述步骤S2中的具体步骤为:

S2.1:给定一个输入图像大小为 448×448×3,将其分割成多个不重叠的图像块 Pi,每个图像块的大小为 16×16,设 N 为图像块的总数,每个图像块 Pi表示为一个向量 vec(Pi),对于每个图像块Pi,将其展平为一个维度为M的向量,为每个向量化的图像块 vec(Pi)添加位置嵌入 Epos,i,再引入一个类别嵌入Ecls,最终得到16×16图像的上下文以及全局信息特征XP,表达式为:其中, vec(Pi)为每个向量化的图像块, Epos,i为位置嵌入,Ecls为类别嵌入;

S2.2.1:使用ResNet50网络捕获图像集合B的空间特征Xres,表达式为:其中,Bi为图像集合B中其中一个图像,尺寸为W×H×C,W为宽度,H为高度,C为通道数;

S2.2.2:使用情感视觉注意力机制感知空间特征Xres的情感特征Xemo,表达式为:S2.2.3:使用包含一个1×1卷积、一个BN层和一个Relu激活函数的CBR卷积块增强空间特征Xres,得到增强后的空间特征Xcbn1,表达式为:其中,Xcbn1为增强后的空间特征,K为卷积核大小,Conv表示卷积操作,BN为批量归一化操作,Relu为激活函数;

S2.2.4:将情感特征Xemo与增强后的空间特征Xcbn1融合得到情感增益特征Xtemo,表达式为:S2.3:将上下文和全局信息特征与情感增益特征Xtemo融合得到图像特征X1,表达式为:。

2.根据权利要求1所述的一种情感增益下特征互补的图像情感分类方法,其特征在于:图像数据集FI包括八种情感,八种情感分别为愉悦,敬畏,满足,兴奋,愤怒,厌恶,恐惧,悲伤,图像数据集Emotion6包括快乐、悲伤、惊讶、愤怒、厌恶、恐惧。

3.根据权利要求1所述的一种情感增益下特征互补的图像情感分类方法,其特征在于:所述步骤S3中的具体步骤为:S3.1:将输入的图像特征X1通过一个1×1的卷积,再经过一个BN层和一个Relu激活函数得到获得情感增益特征Xtemo中的显著性特征Xcbn2,表达式为:S3.2:对显著性特征Xcbn2表示进行全局平均池化,然后使用softmax激活函数进行归一化处理得到显著性特征表示Xcbn2的权重α1,表达式为:其中,GAP表示全局平均池化操作;

S3.3:得到显著性特征Xcbn2的权重α1后,通过加权增强特征X1的显著部分得到显著性特征XE,表达式为:其中,为图像X1中的显著性特征;

S3.4:通过抑制显著性特征Xcbn2的权重α1来获得潜在性特征XS的权重α2,再次通过加权的方式获得潜在性特征XS,表达式为:其中,α2为潜在性特征权重,为图像的潜在性特征;

S3.5:将显著性特征接入到L个Transformer编码块中,得到最终的显著性特征XE1和L个潜在性特征;

S3.6:设计一个学习参数{T,Ui∈B},Ui=[U1,U2,…UL],U1+U2+…+UL=1,用来表征L个潜在性特征对于vit网络模型的贡献,使vit网络模型达到更优,潜在性特征表达式为:其中,表示第L个潜在性特征的权重,表示第i个潜在性特征,i=[1,2,…,L];

S3.7:将显著性特征XE1和L个潜在性特征以互补的形式挖掘图像的情感特征XFIN,表达式为:其中,为图像最终的情感特征。