欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023102070012
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于标签与文本交互的多标签情感分类方法,其特征在于,包括以下步骤:(1)获取待分析的文本;

(2)对步骤(1)获取的待分析本文进行数据清洗处理,以得到带有注释标记的预处理文本。

(3)对步骤(2)得到的带有注释标记的预处理文本进行数据格式规范化处理,以得到id列表和掩码模板。

(4)将步骤(3)得到的id列表和掩码模板输入预先训练好的基于标签与文本交互的多标签情感分类模型中,以得到该文本对应的情感标签。

2.根据权利要求1所述的基于标签与文本交互的多标签情感分类方法,其特征在于,步骤(2)是使用ekphrasis将文本中的一些特殊符号抽取为单词,将日期或者用户抽取为统一表示,将拉长的单词抽取为带注释的正常单词,从而得到带有注释标记的预处理文本。

步骤(3)具体为,首先构建句子对,即首先以为开头,然后将所有的情感标签集合拼接为一句以问号结尾的话,作为句子对的第一个句子,随后接上,其后把带有注释标记的预处理文本作为句子对的第二个句子,最后接上,如果句子对总长度大于128就截断至128,小于128就往后面补直到总长度为128;然后构建掩码模板,其长度为

128,与构建完成的句子对的词一一对应,对应的位置为0,其余为1;最后编码句子对,使用XLNet词元分析器将拼接好的最终句子对编码为id列表。

3.根据权利要求1或2所述的基于标签与文本交互的多标签情感分类方法,其特征在于,多标签情感分类模型包含依次连接的基于XLNet架构的编码端、基于标签查询的交互注意力的解码端,以及线性分类层三个部分;

基于XLNet结构的编码端包含1个嵌入层和c个编码层,其中c的取值为大于1的自然数;

对于嵌入层而言,其输入长为L的id列表,输出为L*d的句子对向量和L*d的位置编码,L为id列表的长度,d为嵌入维度大小;

对于编码层而言,其具体结构为:

第一层是多头自注意力层,输入为嵌入层得到的L*d的句子对向量和L*d的位置编码,输出为L*d的特征向量;

第二层是前馈神经网络层,其输入为上一层得到的L*d的特征向量,输出为L*d的特征向量。

对于基于XLNet结构的编码端而言,由于每个编码层的输入与输出维度相同,最终通过

1个嵌入层和c个编码层输出最终的L*d的句子对特征向量。

基于标签查询的交互注意力的解码端包含1个数据处理层和u个解码层,其中u的取值为大于1的自然数;

对于数据处理层而言,其输入为经过基于XLNet结构的编码端输出的L*d的句子对特征向量,输出为N*d的标签特征向量、N*d的标签嵌入、M*d的文本特征向量和M*d的位置编码,其中N为情感标签的个数,M为句子对总长度减去由情感标签集合组成的句子对中第一个句子长度后的剩余长度;

对于解码层而言,其具体结构为:

第一层是多头交互注意力层,其输入为数据处理层的输出N*d的标签特征向量、N*d的标签嵌入、M*d的文本特征向量和M*d的位置编码,输出为N*d的特征向量;

第二层是前馈神经网络层,其输入为上一层得到的N*d的特征向量,输出为N*d的特征向量。

对于基于标签查询的交互注意力的解码端而言,由于每个解码层的输入与输出维度相同,最终通过1个输入处理层和u个解码层输出最终的N*d的情感标签特征向量。

线性分类层具体结构为:

第一层是线性层,其输入为经过基于标签查询的交互注意力的解码端输出的N*d的情感标签特征向量,输出为N*1的文本对于各个情感标签的关联特征向量;

第二层是概率化层,其输入为上一层得到的N*1的文本对于各个情感标签的关联特征向量,输出长度为N的文本对于各个标签的关联概率,根据该概率即可得到文本对应的情感标签。

4.根据权利要求1至3中任意一项所述的基于标签与文本交互的多标签情感分类方法,其特征在于,基于标签与文本交互的多标签情感分类模型是通过以下步骤训练得到的:(4‑1)获取英文训练集数据;

(4‑2)对步骤(4‑1)获取的英文训练集数据先后进行数据读取、清洗和数据格式规范化处理,以得到id列表和掩码模板;

(4‑3)将步骤(4‑2)得到的id列表和掩码模板输入XLNet模型中进行编码,并对编码结果进行切分,以得到多个标签特征向量和多个待分析文本特征向量;

(4‑4)将步骤(4‑3)得到的标签特征向量和待分析文本特征向量输入解码端中进行解码,以得到最终的情感标签表征;

(4‑5)将步骤(4‑4)得到的最终的情感标签表征输入线性层中,以得到最终的该文本对于各个标签的关联特征,使用该文本对于各个标签的关联特征与步骤(4‑2‑1)中该文本对应的实际情感标签计算基于标签与文本交互的多标签情感分类模型的损失函数的损失值,并使用该损失值迭代训练XLNet模型、解码端和线性层的各参数,以得到训练好的基于标签与文本交互的多标签情感分类模型。

5.根据权利要求4所述的基于标签与文本交互的多标签情感分类方法,其特征在于,步骤(4‑2)具体包括以下子步骤:(4‑2‑1)使用Pandas对步骤(4‑1)获取的英文训练集数据进行数据读取,以将其每一行拆分为文本和该文本对应的实际情感标签,对文本进行数据清洗,以得到带有注释标记的预处理文本,并直接读取英文训练集数据第一行表头获取所有情感标签,以得到情感标签集合;

(4‑2‑2)根据步骤(4‑2‑1)得到的带有注释标记的预处理文本和情感标签集合构建句子对,根据句子对构建对应的掩码模板,并对该句子对进行编码,以得到id列表。

6.根据权利要求5所述的基于标签与文本交互的多标签情感分类方法,其特征在于,步骤(4‑3)具体包括以下子步骤;

(4‑3‑1)对步骤(4‑2)得到的id列表先后进行嵌入操作和位置编码处理,以得到句子对的特征向量和位置编码,其维度为L*d,其中d为嵌入维度大小,L表示id列表的长度;

(4‑3‑2)将步骤(4‑3‑1)得到的句子对特征向量和位置编码以及步骤(4‑2)得到的掩码模板输入XLNet模型中,以得到句子对的最终特征向量,其维度为L*d;

(4‑3‑3)对步骤(4‑3‑2)得到的句子对的最终特征向量进行切分处理,以得到维度为N*d的标签特征向量和维度为M*d的待分析文本特征向量,其中N是步骤(4‑2‑1)得到的情感标签集合中的情感标签个数,M为句子对的总长度减去句子对中第一个句子的长度后的剩余长度。

7.根据权利要求6所述的基于标签与文本交互的多标签情感分类方法,其特征在于,步骤(4‑4)具体包括以下子步骤:(4‑4‑1)将步骤(4‑3‑3)得到的维度为N*d的标签特征向量加上维度为N*d的可学习标签嵌入,以得到查询Q,将步骤(4‑3‑3)得到的维度为M*d的待分析文本特征向量作为值V,将值V加上维度为M*d的位置编码,以得到键K;

具体而言,本步骤中,根据标签特征向量的维度N*d初始化一个同样维度的嵌入表,该嵌入表的权重即为N*d的可学习标签嵌入,其与标签特征向量一一对应,M*d的位置编码与待分析文本特征向量一一对应,具体如下式求得:

2a/d

PE(pos,2a)=sin(pos/10000 )

2a/d

PE(pos,2a+1)=cos(pos/10000 )

其中pos表示文本特征向量中词的位置,且pos∈[0,M‑1],2a表示嵌入维度的偶数索引,2a+1表示嵌入维度的奇数索引,且a∈[0,d/2‑1],PE表示位置编码结果,sin表示正弦运算,cos表示余弦运算。

(4‑4‑2)将步骤(4‑4‑1)得到的查询Q、键K、值V和步骤(4‑3)得到的标签特征向量输入多头交互注意力层中,以得到多头交互注意力层最终的输出,其维度为N*d;

具体而言,本步骤的多头交互注意力层中每个头的注意力结果以及多头交互注意力层最终的输出是由下式求出:O

MultiHead=Concat(head1,head2,……,headh)Wx=LayerNorm(Q0+Dropout(MultiHead))其中headi为多头交互注意力层中第i个头的注意力结果,维度为N*dw,Q0为维度为N*d的标签特征向量,QEMB为维度为N*d的可学习标签嵌入,K0和V均为维度为M*d的待分析文本Q K V特征向量,KPOS是维度为M*d的不可学习的位置编码,Wi、Wi 和Wi为分别将Q、K和V投影到单头维度的可学习的投影矩阵,其维度均为d*dw,dw=d/h,h表示多头交互注意力层的总头数,OW表示线性层的权重矩阵,维度为d*d,x为多头交互注意力层最终的输出,维度为N*d,其中i∈[1,多头交互注意力层的总头数h],Concat表示将输入张量按照最后一个维度拼接起来的函数,MultiHead表示经过多头计算后的注意力结果,LayerNorm表示对每个样本的所有特征做归一化处理,Dropout表示在深度学习模型的前向传播时,让某个神经元的激活值以一定的概率g停止工作,用于避免模型过拟合。

(4‑4‑3)将步骤(4‑4‑2)中得到的多头交互注意力层最终的输出输入前馈神经网络中,以得到前馈神经网络层最终的输出,其维度为N*d,同时将解码端中解码层的总数u减去1,如果u的值为0,那么得到的输出为最终的情感标签表征,否则得到的输出作为下一个解码层的输入。

具体而言,本步骤中前馈神经网络层最终的输出是由下式得出:

1 1 2 2

FFN(x)=max(0,xW+b)W+b

z=LayerNorm(x+Dropout(FFN(x)))

1 1 1

其中W 为前馈神经网络中第一个线性层的投影权重,维度为d*4d,b为W对应的偏置,

2 2 2

同理地,W 为前馈神经网络中第二个线性层的投影权重,维度为4d*d,b 为W 对应的偏置,FFN表示前馈神经网络的初步输出,维度为N*d,z为前馈神经网络层最终的输出,维度为N*d,max表示取最大值的操作。

8.根据权利要求7所述的基于标签与文本交互的多标签情感分类方法,其特征在于,步骤(4‑5)具体包括以下子步骤:(4‑5‑1)对步骤(4‑4)得到的维度为N*d的最终的情感标签表征进行线性层投影和概率化处理,以得到该文本对于各个标签关联的概率,其为长为N的一维张量;

具体而言,本步骤中,线性层投影是把维度为N*d的最终的情感标签表征投影到N*1,以得到该文本对于各个标签的关联特征,那么对该文本对于各个标签的关联特征进行概率化处理采用了sigmoid函数的方法:其中 表示文本对于第n个标签的关联特征值,pn即为文本对于第n个标签的关联概率,e表示自然对数的底数。

(4‑5‑2)根据步骤(4‑5‑1)得到的该文本对于各个标签关联的概率和步骤(4‑2‑1)中该文本对应的实际情感标签进行基于标签与文本交互的多标签情感分类模型的损失函数的损失值计算,并使用该损失值迭代训练模型,得到训练好的基于标签与文本交互的多标签情感分类模型。

具体而言,本步骤中模型的训练过程中损失函数L主要包含两个损失函数L1和L2,其中前者是用于最大化正确标签的概率,后者用于最大化正负标签之间的距离,具体定义如下:L=(1‑α)L1+αL2

其中N表示情感标签个数,yn代表第n个情感标签的实际值,pn即为文本对于第n个情感+ ‑标签的关联概率,N 为情感标签实际值为1的个数,N为情感标签实际值为0的个数,pj代表向量p的第j个元素值,同理pk代表向量p的第k个元素值,α为控制L1和L2对总损失L的贡献的权重,且α∈[0,1]。

9.一种基于标签与文本交互的多标签情感分类系统,其特征在于,包括:第一模块,用于获取待分析的文本;

第二模块,用于对第一模块获取的待分析本文进行数据清洗处理,以得到带有注释标记的预处理文本。

第三模块,用于对第二模块得到的带有注释标记的预处理文本进行数据格式规范化处理,以得到id列表和掩码模板。

第四模块,用于将第三模块得到的id列表和掩码模板输入预先训练好的基于标签与文本交互的多标签情感分类模型中,以得到该文本对应的情感标签。