欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020101500861
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于自注意力卷积神经网络的短文本分类方法,其特征在于,包括以下步骤:(1)对短文本数据集进行预处理,得到标记Token,并将其One‑hot编码作为词的初始特征向量;

(2)将词的初始特征向量组成的短文本矩阵输入到Word2vec模型中,对每个标记Token进行训练,得到词向量;

(3)将短文本矩阵作为Self‑attention层的输入,通过Self‑attention层对每个标记Token的上下文信息进行编码,经过卷积层、池化层后抽取短文本的高级语义特征向量;

(4)将高级语义特征向量作为Softmax分类器的输入进行文本分类识别,所述步骤(3)中通过Self‑attention层对每个标记Token的上下文信息进行编码,经过卷积层、池化层后抽取短文本的高级语义特征向量的具体算法包括:(31)对词与词之间的相关性进行量化,计算公式为:其中,xi和xj分别表示第i个词和第j个词的词向量;di,j=|i‑j|+1,表示词向量xi和词向量xj的相对位置距离;Wa和 分别表示Self‑attention层的训练权重矩阵和参数向量;

(32)通过Softmax对上述score(xi,xj)的值进行归一化,公式为:ai,j=softmax(score(xi,xj))(33)获取每个标记Token的上下文信息的词向量,公式为:ci=∑ai,j·xj

其中,ci表示词向量xi包含上下文信息的词向量。

2.根据权利要求1所述的基于自注意力卷积神经网络的短文本分类方法,其特征在于,所述步骤(1)中,所述预处理包括:对短文本数据集中的短文本进行分词和去停用词,将得到的每个标记Token的One‑hot编码作为词的初始特征向量。

3.根据权利要求1所述的基于自注意力卷积神经网络的短文本分类方法,其特征在于,步骤(3)中,所述池化层选择静态划分Chunk‑Max Pooling。

4.根据权利要求1所述的基于自注意力卷积神经网络的短文本分类方法,其特征在于,所述词与词之间的相关性score(xi,xj)随着di,j的增大而减少,且保证di,j不为0。

5.一种基于自注意力卷积神经网络的短文本分类系统,其特征在于,该系统包括:文本预处理模块,用于对短文本数据集进行预处理;

Word2vec预训练模块,用于获取词的初始特征向量组成的短文本矩阵,对每个标记Token进行训练,得到词向量;

Self‑attention模块,用于获取短文本矩阵,对标记Token的上下文信息进行编码,得到词与词之间的相关性;

卷积池化模块,用于根据词向量表示抽取短文本的高级语义特征向量;

通过Self‑attention模块对每个标记Token的上下文信息进行编码,经过卷积池化模块抽取短文本的高级语义特征向量的具体算法包括:(31)对词与词之间的相关性进行量化,计算公式为:其中,xi和xj分别表示第i个词和第j个词的词向量;di,j=|i‑j|+1,表示词向量xi和词向量xj的相对位置距离;Wa和 分别表示Self‑attention层的训练权重矩阵和参数向量;

(32)通过Softmax对上述score(xi,xj)的值进行归一化,公式为:ai,j=softmax(score(xi,xj))(33)获取每个标记Token的上下文信息的词向量,公式为:ci=∑ai,j·xj

其中,ci表示词向量xi包含上下文信息的词向量;

分类器模块,用于根据短文本的高级语义特征对文本数据进行分类。