欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021108134339
申请人: 暨南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多重词特征融合的情感分类方法,其特征在于,包括:

获取已知情感分类类别的文本数据,构成训练样本集;

对训练样本集中各文本数据进行文本预处理,得到文本数据转换到的字向量、文本向量、位置向量和词性向量;

文本预处理包括:

划分文本分词,利用分词库将文本分割成为组成语言语句的词语序列;

构造词汇表:根据划分所有文本得到的词语序列,删去其中的低频词后构造文本的词汇表,所述词汇表用于查询某一词在表中的下标,通过下标查找到对应的词语;

根据文本分词划分结果以及构造的词汇表,将文本数据转换为四种向量,包括字向量、文本向量、位置向量和词性向量;

所述字向量用于将自然语言中的字词转为稠密向量,所述文本向量用于刻画文本的全局语义信息,并与单字/词的语义信息相融合,所述位置向量用于对不同位置的字/词分别附加一个不同的向量以作区分字/词在句子中不同的位置,所述词性向量用于表达文本情感倾向;

建立基于Transformer模型的Encoder网络,在Encoder网络的编码层加入词性向量层;

将训练样本集中各文本数据对应的字向量、文本向量、位置向量和词性向量输入到Transformer模型的Encoder网络中;

基于Transformer模型的Encoder网络包括依次连接的编码层、多头自我注意力层、前馈层和线性层;

文本数据对应的字向量、文本向量、位置向量和词性向量的加和构成编码层的输入序列,由编码层将序列的每个下标转换成对应的唯一向量化表示,得到词向量;

编码层得到的词向量输入到多头自我注意力层中,进行以下操作:

通过多头的自我注意力机制为词语提供多个向量表示,向量分别为Query,Key和Value;

目标字及其上下文的字都有各自的原始Value,Attention机制将目标字作为Query,其上下文的各个字作为Key;

将Query与各个Key的相似性作为权重,把上下文各个字的Value融入目标字的原始Value中;

Attention机制将目标字和上下文各个字的语义向量表示作为输入,通过线性变换获得目标字的Query向量表示、上下文各个字的Key向量表示以及目标字与上下文各个字的原始Value表示,计算Query向量与各个Key向量的相似度作为权重,加权融合目标字的Value向量和各个上下文字的Value向量,作为Attention的输出,即目标字的增强语义向量表示;

基于Transformer模型的Encoder网络中,各层之间包括以下操作:残差连接,将模块的输入与输出直接相加,作为最后的输出;

Layer Normalization,对某一层神经网络节点作0均值1方差的标准化;

线性转换,将每个字的增强语义向量再做两次线性变换,其中变换后的向量与原向量保持长度相同;

进行Masked LM和Next Sentence Prediction预训练任务,得到情感分类模型;

针对于要进行情感分类的文本数据,进行文本预处理后,得到文本数据转换到的字向量、文本向量、位置向量和词性向量;

将要进行情感分类的文本数据所对应字向量、文本向量、位置向量和词性向量输入到情感分类模型得到情感分类结果。

2.根据权利要求1所述的基于多重词特征融合的情感分类方法,其特征在于,进行Masked LM预训练任务中,将编码器输出的序列中a%的Token替换,这其中a1%的Token被替换成其他单词,a2%的Token原封不动,a3%的Token被替换成[mask];

在Next Sentence Prediction预训练任务中,将两个句子A和B连接起来,预测原始文本中句子B是否排在A之后;其中b1%的输入对在原始文档中是前后关系,另外b2%是从训练样本集中随机挑选组成的;

a、a1、a2、a3、b1和b2均为常量。

3.根据权利要求1所述的基于多重词特征融合的情感分类方法,其特征在于,基于Transformer模型的Encoder网络的个数为多个,各个基于Transformer模型的Encoder网络依次连接。

4.根据权利要求1所述的基于多重词特征融合的情感分类方法,其特征在于,基于Transformer模型的Encoder网络在训练后,进行模型的微调,得到情感分类模型;模型微调为:在预处理后的文本数据转换得到的位置向量前插入[CLS]符号。

5.一种基于多重词特征融合的情感分类装置,其特征在于,用于实现权利要求1-4任一项所述的基于多重词特征融合的情感分类方法,该装置包括:训练样本集构建模块,用于获取已知情感分类类别的文本数据,构成训练样本集第一预处理模块,用于对训练样本集中各文本数据进行文本预处理,得到文本数据转换到的字向量、文本向量、位置向量和词性向量;

网络构建模块,用于建立基于Transformer模型的Encoder网络,在Encoder网络的编码层加入词性向量层;

训练模块,用于将训练样本集中各文本数据对应的字向量、文本向量、位置向量和词性向量输入到Transformer模型的Encoder网络中;进行Masked LM和Next SentencePrediction预训练任务,得到情感分类模型;

第二预处理模块,用于针对要进行情感分类的文本数据,进行文本预处理后,得到文本数据转换到的字向量、文本向量、位置向量和词性向量;

分类模块,用于将要进行情感分类的文本数据所对应字向量、文本向量、位置向量和词性向量输入到情感分类模型得到情感分类结果。

6.一种存储介质,存储有程序,其特征在于,所述程序被处理器执行时,实现权利要求1~4中任一项所述的基于多重词特征融合的情感分类方法。

7.一种计算设备,包括处理器以及用于存储处理器可执行程序的存储器,其特征在于,所述处理器执行存储器存储的程序时,实现权利要求1~4中任一项所述的基于多重词特征融合的情感分类方法。