欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024101609171
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于主题增强和知识蒸馏的多策略情感分析方法,其特征在于,所述方法包括以下步骤:步骤1,获取数据集,对数据集进行数据预处理获得真实文本D,真实文本D={d1,d2,..,dj,..,dn}中包含n条句子dj,j∈{1,2,...,n},句子中包含单词;将每条句子dj使用词袋模型表示成句子词袋表示 V为真实文本D中不重复的单词的数量;

步骤2,训练教师模型;

步骤2.1,教师模型包括主题模型和BERT‑base模型,将句子词袋表示 作为主题模型的输入,句子词袋表示 通过主题模型的编码器转换为主题分布θ,主题分布θ通过主题模F型的解码器转换为包含主题信息的主题嵌入表示zt,zt∈R,F表示维度;

步骤2.2,将真实文本D作为BERT‑base模型的输入,得到句子向量表示E,句子向量表示E作为BERT‑base模型中12层编码器的输入,将每一层编码器输出的第一个词元组成12维包含语义信息的特征向量H;

步骤2.3,将主题嵌入表示zt与特征向量H结合,得到包含语义信息和主题信息的句子向量v,完成对教师模型的训练;

步骤3,训练学生模型,学生模型包括含有6层编码器的BERT‑base模型,分别利用BERT‑base模型中词元之间的横向蒸馏目标函数Lwr‑angle和纵向蒸馏目标函数Lltr‑angle、软交叉熵损失函数Lpred建立教师模型和学生模型之间的关系,完成学生模型进行训练;具体为:横向蒸馏目标函数Lwr‑angle表示为:

A C

Lwr‑angle=MSE(ψ(hδ,hφ,hλ),ψ(hδ′′,hφ′′,hλ′′));

教师模型中BERT‑base模型内每层编码器输出的隐向量组成三维矩阵;其中,hδ,hφ,hλF' F∈R 为教师模型中任意横向相邻的三个词元,δ,φ,λ∈{1,2....,B},hδ′′,hφ′′,hλ”∈R 'A C为学生模型中任意横向相邻的三个词元,δ',φ',λ'∈{1,2....,B};ψ(hδ,hφ,hλ),ψ(hδ′′,hφ′′,hλ′′)分别为教师模型及学生模型任意横向相邻的三个词元的cos距离;F'=F,B表示句子dj对应的向量长度;MSE(·)为均方误差计算公式;

纵向蒸馏目标函数Lltr‑angle表示为:A C

Lltr‑angle=MSE(ψ(hμ,hω,hτ),ψ(hμ′′,hω′′,hτ′′))F'

其中,hμ,hω,hτ∈R 为教师模型任意纵向相邻的三个词元,μ,ω,τ∈{1,2,...,12};

F' A

hμ′′,hω′′,hτ′′∈R 为学生模型任意纵向相邻的三个词元,μ',ω',τ'∈{1,2,...,6};ψC(hμ,hω,hτ),ψ(hμ′′,hω′′,hτ′′)分别为教师模型及学生模型任意纵向相邻的三个词元的cos距离;

让学生模型直接蒸馏教师模型的最终预测logit,软交叉熵损失函数Lpred:F

其中,Q是用于控制软标签重要程度的超参数;qr,ql∈R '表示logit输出的分类结果,其中,r,l∈{1,2,...,M},M为类别数量;

步骤4,将待分析数据集输入训练好的学生模型中,通过分类层输出每个类别的概率y,即得到分析结果。

2.根据权利要求1所述的基于主题增强和知识蒸馏的多策略情感分析方法,其特征在于,步骤1中所述的每条句子dj使用词袋模型表示成句子词袋表示 具体步骤如下:将真实文本D={d1,d2,...,dj,...,dn}中重复的单词去除,得到词汇表Y={w1,w2,...,wi,...,wV},i∈[1,2,...,V],句子dj通过TF‑IDF方法得到句子词袋表示 具体计算公式如下:其中,Ni,j表示单词wi在句子dj中出现的次数,TFi,j表示单词wi在句子dj中出现的频率,|j:wi∈dj|表示包含单词wi的句子dj的数量;IDFi为单词wi在真实文本D中的流行程度;

表示句子dj中单词wi的语义相关性。

3.根据权利要求1所述的基于主题增强和知识蒸馏的多策略情感分析方法,其特征在于,步骤2.1中具体步骤如下:步骤2.1.1,主题模型的编码器包括多层感知器MLP,通过多层感知器MLP中批标准化BN层及激活函数LeakyReLU将句子词袋表示 映射得到K维:zo=max(ro,η*ro);

K×V K

其中,Wo∈R ,bo∈R 为全连接层的权重矩阵和偏置项,ro为通过BN(·)进行归一化后的隐层;η为激活函数LeakyReLU的超参数,zo为经过激活函数LeakyReLU的输出;

步骤2.1.2,随后,通过多层感知器MLP中批标准化BN层及softmax函数转换将zo映射到S维,得到文档‑主题分布θm:θm=softmax(BN(Wezo+be));

S×K S

其中,We∈R ,be∈R为全连接层的权重矩阵和偏置项;

步骤2.1.3,在文档‑主题分布θm中添加噪声 得到主题分布θ:其中,β∈[0,1]表示噪声的混合比例;Dirichlet(α)为狄利克雷分布,其中α是分布参数;

步骤2.1.4,主题模型的解码器包括多层感知器MLP,通过多层感知器MLP中批标准化BN层及激活函数LeakyReLU将主题分布θ映射到F维,得到主题嵌入表示zt:rt=BN(Wtθ+bt);

zt=max(rt,η*rt);

F×S F

其中,Wt∈R ,bt∈R 是全连接层的权重矩阵和偏置项,rt为通过BN(·)进行归一化的输出隐向量。

4.根据权利要求3所述的基于主题增强和知识蒸馏的多策略情感分析方法,其特征在于,在主题模型训练过程中,定义主题模型损失函数Lt度量重构分布与真实之间的差异程度,具体为:主题模型的解码器将主题嵌入表示zt进行重构,生成V维的重构分布V×F V

其中,Wa∈R ,ba∈R是全连接层的权重矩阵和偏置项;

主题模型损失函数Lt为:

其中,主题模型的目标包括重建项和基于MMD的正则化项,γ是用来平衡两部分的超参数,MMD为计算最大均值差异,用来度量主题信息分布Qθ与先验随机样本分布Pθ之间的距离;

为重构分布 的同维拆分。

5.根据权利要求1所述的基于主题增强和知识蒸馏的多策略情感分析方法,其特征在于,步骤2.2中,具体为:步骤2.2.1,句子向量表示E如下:

E=Etok+Eseg+Epos;

其中,Etok是语义级别的句子的向量表示;Eseg是辅助区别句子对中的两个句子的向量B×F'表示;Epos是真实文本的位置向量,其中Etok,Eseg,Epos∈R ,B表示句子dj对应的向量长度,F'代表BERT‑base模型中每一个词元对应的向量长度,令F'=F;

步骤2.2.2,句子向量表示E作为BERT‑base模型中12层编码器的输入,将每一层编码器输出的第一个词元组成12维包含语义信息的特征向量H:H=BERT{h1,h2,...,hu,...,h12};

F' 12×F'

其中,hu∈R 是u层编码器输出的第一个词元的向量表示,u∈{1,2,...,12};H∈R是BERT‑base模型的输出。

6.根据权利要求1所述的基于主题增强和知识蒸馏的多策略情感分析方法,其特征在于,步骤2.3中,具体为:步骤2.3.1,利用主题嵌入表示zt进行引导,计算特征向量H中每个词元的注意力概率分布:H=BERT{h1,h2,...,hu,...,h12};

T

f(hu,zt)=zttanh(Wphu+bp);

F ×F'

其中,hu是u层编码器输出的第一个词元的向量表示,u∈{1,2,...,12};Wp∈R ' ,bpF'∈R 是全连接层权重矩阵和偏置项;

步骤2.3.2,计算出注意力分布αu并得到包含语义信息和主题信息的句子向量v:F'×F' F'

其中,αu∈R ,v∈R 。

7.根据权利要求1所述的基于主题增强和知识蒸馏的多策略情感分析方法,其特征在于,定义分类目标损失Lc估量训练好的学生模型的预测值与真实值的不一致程度:其中,yz表示分类层输出每个类别的概率, 表示真实标签分布;M为类别数量。