1.一种基于主题增强和知识蒸馏的多策略情感分析方法,其特征在于,所述方法包括以下步骤:步骤1,获取数据集,对数据集进行数据预处理获得真实文本D,真实文本D={d1,d2,..,dj,..,dn}中包含n条句子dj,j∈{1,2,...,n},句子中包含单词;将每条句子dj使用词袋模型表示成句子词袋表示 V为真实文本D中不重复的单词的数量;
步骤2,训练教师模型;
步骤2.1,教师模型包括主题模型和BERT‑base模型,将句子词袋表示 作为主题模型的输入,句子词袋表示 通过主题模型的编码器转换为主题分布θ,主题分布θ通过主题模F型的解码器转换为包含主题信息的主题嵌入表示zt,zt∈R,F表示维度;
步骤2.2,将真实文本D作为BERT‑base模型的输入,得到句子向量表示E,句子向量表示E作为BERT‑base模型中12层编码器的输入,将每一层编码器输出的第一个词元组成12维包含语义信息的特征向量H;
步骤2.3,将主题嵌入表示zt与特征向量H结合,得到包含语义信息和主题信息的句子向量v,完成对教师模型的训练;
步骤3,训练学生模型,学生模型包括含有6层编码器的BERT‑base模型,分别利用BERT‑base模型中词元之间的横向蒸馏目标函数Lwr‑angle和纵向蒸馏目标函数Lltr‑angle、软交叉熵损失函数Lpred建立教师模型和学生模型之间的关系,完成学生模型进行训练;具体为:横向蒸馏目标函数Lwr‑angle表示为:
A C
Lwr‑angle=MSE(ψ(hδ,hφ,hλ),ψ(hδ′′,hφ′′,hλ′′));
教师模型中BERT‑base模型内每层编码器输出的隐向量组成三维矩阵;其中,hδ,hφ,hλF' F∈R 为教师模型中任意横向相邻的三个词元,δ,φ,λ∈{1,2....,B},hδ′′,hφ′′,hλ”∈R 'A C为学生模型中任意横向相邻的三个词元,δ',φ',λ'∈{1,2....,B};ψ(hδ,hφ,hλ),ψ(hδ′′,hφ′′,hλ′′)分别为教师模型及学生模型任意横向相邻的三个词元的cos距离;F'=F,B表示句子dj对应的向量长度;MSE(·)为均方误差计算公式;
纵向蒸馏目标函数Lltr‑angle表示为:A C
Lltr‑angle=MSE(ψ(hμ,hω,hτ),ψ(hμ′′,hω′′,hτ′′))F'
其中,hμ,hω,hτ∈R 为教师模型任意纵向相邻的三个词元,μ,ω,τ∈{1,2,...,12};
F' A
hμ′′,hω′′,hτ′′∈R 为学生模型任意纵向相邻的三个词元,μ',ω',τ'∈{1,2,...,6};ψC(hμ,hω,hτ),ψ(hμ′′,hω′′,hτ′′)分别为教师模型及学生模型任意纵向相邻的三个词元的cos距离;
让学生模型直接蒸馏教师模型的最终预测logit,软交叉熵损失函数Lpred:F
其中,Q是用于控制软标签重要程度的超参数;qr,ql∈R '表示logit输出的分类结果,其中,r,l∈{1,2,...,M},M为类别数量;
步骤4,将待分析数据集输入训练好的学生模型中,通过分类层输出每个类别的概率y,即得到分析结果。
2.根据权利要求1所述的基于主题增强和知识蒸馏的多策略情感分析方法,其特征在于,步骤1中所述的每条句子dj使用词袋模型表示成句子词袋表示 具体步骤如下:将真实文本D={d1,d2,...,dj,...,dn}中重复的单词去除,得到词汇表Y={w1,w2,...,wi,...,wV},i∈[1,2,...,V],句子dj通过TF‑IDF方法得到句子词袋表示 具体计算公式如下:其中,Ni,j表示单词wi在句子dj中出现的次数,TFi,j表示单词wi在句子dj中出现的频率,|j:wi∈dj|表示包含单词wi的句子dj的数量;IDFi为单词wi在真实文本D中的流行程度;
表示句子dj中单词wi的语义相关性。
3.根据权利要求1所述的基于主题增强和知识蒸馏的多策略情感分析方法,其特征在于,步骤2.1中具体步骤如下:步骤2.1.1,主题模型的编码器包括多层感知器MLP,通过多层感知器MLP中批标准化BN层及激活函数LeakyReLU将句子词袋表示 映射得到K维:zo=max(ro,η*ro);
K×V K
其中,Wo∈R ,bo∈R 为全连接层的权重矩阵和偏置项,ro为通过BN(·)进行归一化后的隐层;η为激活函数LeakyReLU的超参数,zo为经过激活函数LeakyReLU的输出;
步骤2.1.2,随后,通过多层感知器MLP中批标准化BN层及softmax函数转换将zo映射到S维,得到文档‑主题分布θm:θm=softmax(BN(Wezo+be));
S×K S
其中,We∈R ,be∈R为全连接层的权重矩阵和偏置项;
步骤2.1.3,在文档‑主题分布θm中添加噪声 得到主题分布θ:其中,β∈[0,1]表示噪声的混合比例;Dirichlet(α)为狄利克雷分布,其中α是分布参数;
步骤2.1.4,主题模型的解码器包括多层感知器MLP,通过多层感知器MLP中批标准化BN层及激活函数LeakyReLU将主题分布θ映射到F维,得到主题嵌入表示zt:rt=BN(Wtθ+bt);
zt=max(rt,η*rt);
F×S F
其中,Wt∈R ,bt∈R 是全连接层的权重矩阵和偏置项,rt为通过BN(·)进行归一化的输出隐向量。
4.根据权利要求3所述的基于主题增强和知识蒸馏的多策略情感分析方法,其特征在于,在主题模型训练过程中,定义主题模型损失函数Lt度量重构分布与真实之间的差异程度,具体为:主题模型的解码器将主题嵌入表示zt进行重构,生成V维的重构分布V×F V
其中,Wa∈R ,ba∈R是全连接层的权重矩阵和偏置项;
主题模型损失函数Lt为:
其中,主题模型的目标包括重建项和基于MMD的正则化项,γ是用来平衡两部分的超参数,MMD为计算最大均值差异,用来度量主题信息分布Qθ与先验随机样本分布Pθ之间的距离;
为重构分布 的同维拆分。
5.根据权利要求1所述的基于主题增强和知识蒸馏的多策略情感分析方法,其特征在于,步骤2.2中,具体为:步骤2.2.1,句子向量表示E如下:
E=Etok+Eseg+Epos;
其中,Etok是语义级别的句子的向量表示;Eseg是辅助区别句子对中的两个句子的向量B×F'表示;Epos是真实文本的位置向量,其中Etok,Eseg,Epos∈R ,B表示句子dj对应的向量长度,F'代表BERT‑base模型中每一个词元对应的向量长度,令F'=F;
步骤2.2.2,句子向量表示E作为BERT‑base模型中12层编码器的输入,将每一层编码器输出的第一个词元组成12维包含语义信息的特征向量H:H=BERT{h1,h2,...,hu,...,h12};
F' 12×F'
其中,hu∈R 是u层编码器输出的第一个词元的向量表示,u∈{1,2,...,12};H∈R是BERT‑base模型的输出。
6.根据权利要求1所述的基于主题增强和知识蒸馏的多策略情感分析方法,其特征在于,步骤2.3中,具体为:步骤2.3.1,利用主题嵌入表示zt进行引导,计算特征向量H中每个词元的注意力概率分布:H=BERT{h1,h2,...,hu,...,h12};
T
f(hu,zt)=zttanh(Wphu+bp);
F ×F'
其中,hu是u层编码器输出的第一个词元的向量表示,u∈{1,2,...,12};Wp∈R ' ,bpF'∈R 是全连接层权重矩阵和偏置项;
步骤2.3.2,计算出注意力分布αu并得到包含语义信息和主题信息的句子向量v:F'×F' F'
其中,αu∈R ,v∈R 。
7.根据权利要求1所述的基于主题增强和知识蒸馏的多策略情感分析方法,其特征在于,定义分类目标损失Lc估量训练好的学生模型的预测值与真实值的不一致程度:其中,yz表示分类层输出每个类别的概率, 表示真实标签分布;M为类别数量。