1.一种基于自注意力卷积神经网络的短文本分类方法,其特征在于,包括以下步骤:(1)对短文本数据集进行预处理,得到标记Token,并将其One‑hot编码作为词的初始特征向量;
(2)将词的初始特征向量组成的短文本矩阵输入到Word2vec模型中,对每个标记Token进行训练,得到词向量;
(3)将短文本矩阵作为Self‑attention层的输入,通过Self‑attention层对每个标记Token的上下文信息进行编码,经过卷积层、池化层后抽取短文本的高级语义特征向量;
(4)将高级语义特征向量作为Softmax分类器的输入进行文本分类识别,所述步骤(3)中通过Self‑attention层对每个标记Token的上下文信息进行编码,经过卷积层、池化层后抽取短文本的高级语义特征向量的具体算法包括:(31)对词与词之间的相关性进行量化,计算公式为:其中,xi和xj分别表示第i个词和第j个词的词向量;di,j=|i‑j|+1,表示词向量xi和词向量xj的相对位置距离;Wa和 分别表示Self‑attention层的训练权重矩阵和参数向量;
(32)通过Softmax对上述score(xi,xj)的值进行归一化,公式为:ai,j=softmax(score(xi,xj))(33)获取每个标记Token的上下文信息的词向量,公式为:ci=∑ai,j·xj
其中,ci表示词向量xi包含上下文信息的词向量。
2.根据权利要求1所述的基于自注意力卷积神经网络的短文本分类方法,其特征在于,所述步骤(1)中,所述预处理包括:对短文本数据集中的短文本进行分词和去停用词,将得到的每个标记Token的One‑hot编码作为词的初始特征向量。
3.根据权利要求1所述的基于自注意力卷积神经网络的短文本分类方法,其特征在于,步骤(3)中,所述池化层选择静态划分Chunk‑Max Pooling。
4.根据权利要求1所述的基于自注意力卷积神经网络的短文本分类方法,其特征在于,所述词与词之间的相关性score(xi,xj)随着di,j的增大而减少,且保证di,j不为0。
5.一种基于自注意力卷积神经网络的短文本分类系统,其特征在于,该系统包括:文本预处理模块,用于对短文本数据集进行预处理;
Word2vec预训练模块,用于获取词的初始特征向量组成的短文本矩阵,对每个标记Token进行训练,得到词向量;
Self‑attention模块,用于获取短文本矩阵,对标记Token的上下文信息进行编码,得到词与词之间的相关性;
卷积池化模块,用于根据词向量表示抽取短文本的高级语义特征向量;
通过Self‑attention模块对每个标记Token的上下文信息进行编码,经过卷积池化模块抽取短文本的高级语义特征向量的具体算法包括:(31)对词与词之间的相关性进行量化,计算公式为:其中,xi和xj分别表示第i个词和第j个词的词向量;di,j=|i‑j|+1,表示词向量xi和词向量xj的相对位置距离;Wa和 分别表示Self‑attention层的训练权重矩阵和参数向量;
(32)通过Softmax对上述score(xi,xj)的值进行归一化,公式为:ai,j=softmax(score(xi,xj))(33)获取每个标记Token的上下文信息的词向量,公式为:ci=∑ai,j·xj
其中,ci表示词向量xi包含上下文信息的词向量;
分类器模块,用于根据短文本的高级语义特征对文本数据进行分类。