1.一种融合标签间强相关性的多标签图像分类方法,其特征在于,包括以下步骤:S1、利用数据集中的标签共现关系,构造标签共现邻接矩阵;利用社区检测算法将标签节点划分为M个社区;设置阈值将标签共现邻接矩阵分割为M个共现子图;具体包括如下步骤:(1-1)获取训练数据的图像文件和训练数据中的标签,对标签建立标签共现邻接矩阵A∈R首先统计标签在数据集中的共现关系,并构造Z矩阵,Z∈R(1-2)利用社区检测算法将标签节点划分为M个社区,标签共现邻接矩阵A的模块度定义如下:其中,
将每个节点独立当做一个社区,为了使得模块度达到最大化,将其他标签节点纳入自己社区;
直到模块度不发生变化时,M个社区被检测到,即所有的数据集中的标签节点被划分为M个社区;
(1-3)设置阈值构建标签共现张量,如下:在条件概率矩阵P上设置阈值T=[t其中,
S2、获取训练数据的图像文件,送入卷积神经网络中提取图像特征,获得特征图,特征图经过多重类属池化操作,将特征图转化为M个二维类属特征图,并列向拼接在一起;
S3、获取标签嵌入矩阵,获取标签共现张量,将M个标签共现张量和标签嵌入矩阵送入到多重图卷积神经网络中,得到M重标签节点表示张量,利用标签级别注意力融合机制,将M重标签节点表示张量融合为一个标签节点表示矩阵;具体包括如下步骤:(3-1)将标签共现张量
多重图卷积层第一层输入为标签嵌入矩阵E∈R(3-2)利用标签级别注意力融合机制将多重图卷积层学习到的标签节点表示张量其中,W是参数向量W∈R
计算好节点在每一个子图上的权重w
从而,得到节点在每张子图上的重要性分数β
其中,G∈R
S4、利用注意力机制将多重图卷积层生成的M重标签节点表示张量融合到通用卷积神经网络的中间阶层输出的特征图中;
S5、根据社区检测算法将标签节点划分的M个社区,构建社区编码M矩阵,将M矩阵与融合机制融合的标签节点表示矩阵相乘,得到带有社区编码的标签节点表示矩阵,将该矩阵与列向拼接在一起的多重类属特征图相乘,得到的预测标签用于分类;
S6、构建损失函数,其中包含多标签分类损失函数和学习多重类属池化层中参数矩阵的目标函数。