1.一种基于图注意力网络的中文短文本分类方法,其特征在于,包括以下步骤:获取文本数据,对文本数据进行预处理,得到文本对应的词列表集合;所述预处理包括噪声信息去除、分词处理和停用词处理;
文本特征提取;对本文对应的词列表集合,采用特征嵌入工具进行词嵌入处理,得到对应的词向量;
采用图结构进行建图,将文本和文本中的词作为图节点,建立异构图;具体如下:将文本和词均作为节点,采用确定边权的方式连边建立异构图,如下所示:其中,TF‑IDFi,j配置在词节点ci与文本节点tj之间,用于确定词节点与文本节点之间的边权;PMIi,j配置在词节点ci与词节点cj之间,用于衡量词节点和词节点之间的边权;
Cosine Similarityi,j配置在文本节点ti和文本节点tj之间,用于衡量文本节点和文本节点之间的边权;
建立图注意力网络文本分类模型;采用网络开源的带类别标注的中文短文本数据集作为训练语科数据集,采用异构图训练图注意力网络文本分类模型;
所述建立图注意力网络文本分类模型,具体为:
F
输入图注意力网络N个图节点的特征矩阵,h={h1,h2,...,hN},其中,hi∈R ,F为每个节点的特征数;
F′×F
进入两层的图注意力网络中,对节点训练权值矩阵W∈R ,用于衡量输入特征与输出特征之间的关系;
每层图注意力层采用多头图注意力机制,节点之间的注意力互相关系数
2F′
其中P是一个单层前馈神经网络,由权值向量γ∈R 确定,采用LeakyRelu激活函数进行非线性激活,采用softmax函数对所有节点的相邻节点进行正则化,即:则有,每层的注意力机制为:
其中,Τ表示进行矩阵转置,||表示进行拼接操作;
在输出层采用多头注意力机制得到节点的输出特征,计算如下:其中,K表示注意力机制的头数,Ni表示词节点i的邻接节点集合, 表示第m头注意力m机制中词i与词j的注意力值,W表示第m头注意力机制的权重矩阵,hj表示词节点j的特征向量;
输出文本所属类别;待分类的文本数据经过图注意力网络文本分类模型后,得到节点特征,将节点特征通过softmax分类层得到最终的中文短文本分类的类别。
2.根据权利要求1所述的一种基于图注意力网络的中文短文本分类方法,其特征在于,所述对文本数据进行预处理,具体如下:噪声信息去除:通过正则表达式对中文短文本数据进行预处理,将噪声信息过滤;
分词处理:对噪声信息去除后的中文短文本数据,采用分词工具进行分词,将文本序列转换为分词后对应的词列表集合;
停用词处理:对分词后对应的词列表集合,采用停用词表进行停用词处理,得到预处理后的词列表集合。
3.根据权利要求1所述的一种基于图注意力网络的中文短文本分类方法,其特征在于,所述文本特征提取采用word2vc词特征嵌入工具训练得到文本对应词列表的初始词嵌入向量,然后在每个词向量中加上表示词位置的位置向量得到融合了词位置信息的词嵌入向量。
4.根据权利要求1所述的一种基于图注意力网络的中文短文本分类方法,其特征在于,计算具体为:其中,对于某词与文本的TF‑IDF值计算如下:
词频 t为该词在文本中出现的次数,X为文本的总词数,逆文档频率为文本总数,为包含该词的文本数,TF‑IDF=TF×IDF,即词频乘以逆文档频率;
点互信息计算如下:
其中,N(i,j)为同时包含词节点ci和词节点cj的滑动窗口数,N(i)为包含词节点i的滑动窗口数,N为滑动窗口总数;
余弦相似度Cosine Similarity,对于文本矩阵A和文件矩阵B的余弦相似度计算如下:其中,n为整个语料中词的数量,A和B分别表示两文本中各词出现次数的n维向量,|A|和|B|分别表示两向量的模,Ai表示文本A中词i出现的次数,Bi表示文本B中词i出现的次数。
5.根据权利要求1所述的一种基于图注意力网络的中文短文本分类方法,其特征在于,所述采用网络开源的带类别标注的中文短文本数据集作为训练语科数据集,采用异构图训练图注意力网络文本分类模型,具体为:对建立的图注意力网络文本分类模型,采用网络开源的带类别标准的中文短文本语料数据集按照设定的比例划分为训练集、验证集和测试集;采用训练集对初步建立的图注意力网络文本分类模型进行训练,根据验证集调整模型相应的超参数,并采用测试集测试不同超参数的效果,再筛选出最佳效果的超参数,从而得到最终的图注意力网络中文短文本分类模型。