欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022106537306
申请人: 苏州大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于大小导师知识蒸馏的少样本情感分类方法,其特征在于,包括以下步骤:S1:将样本分为有标注样本xu和未标注样本xu′,收集大量情感分类任务上的未标注样本xu′,建立有标注样本的集合Dl={xu}和未标注样本的集合Du={xu′};

S2:构建大导师模型和小导师模型,使用有标注样本集合Dl训练大导师模型得到训练完成的大导师模型ML,使用有标注样本集合Dl训练小导师模型得到训练完成的小导师模型MB;

S3:使用训练完成的小导师模型MB预测全部未标注样本xu′得到样本概率 ,计算每个样本概率的不确定性 ;

S4:将不确定性 与预设阈值threshold比较,筛选出样本概率高度不确定的样本xu″;

S5:将样本xu′输入训练完成的小导师模型MB得到小导师模型的软标签P,将样本xu″输入训练完成的大导师模型ML得到大导师模型的软标签P′,结合小导师模型的软标签P和大导师模型的软标签P′得到最终的软标签 ;

S6:构建学生模型,使用所述未标注样本集合Du和所述软标签 蒸馏学生模型,得到蒸馏完成的学生模型;

S7:使用蒸馏完成的学生模型对测试集进行分类预测。

2.根据权利要求1所述的基于大小导师知识蒸馏的少样本情感分类方法,其特征在于:所述大导师模型和所述小导师模型均为由基于提示的预训练语言模型M组成的教师模型,所述大导师模型的参数量大于所述小导师模型的参数量。

3.根据权利要求2所述的基于大小导师知识蒸馏的少样本情感分类方法,其特征在于:所述使用有标注样本集合Dl训练大导师模型得到训练完成的大导师模型ML,具体为:S21:训练集Dl={xu}={x,y}中,x表示输入样例,y表示真实标签;对输入样例x添加提示模板转化成完形填空任务形式:P(x)=[CLS] x It is [MASK].[SEP],其中[MASK]为填充词,P(x)是语言模型的输入,It is [MASK].是输入文本添加的提示模板;[CLS]标志句首,x是原始预训练模型预测句子的分类,[SEP]标志句子与句子的分隔;

S22:将L作为分类任务的标签集合,V作为分类任务的标签词集合,构造标签映射函数:;

通过基于提示的预训练语言模型M得到[MASK]对应位置在不同标签 上的得分,其中 , 表示标签l对应的标签词,k为标签词的长度;

S23:通过softmax层建立预测[MASK]在不同标签l上的类别概率,通过类别概率得到输入样例x的情感类别;

S24:建立大导师模型输出层的损失函数;

S25:重复S22~S24,直到大导师模型收敛,结束训练,得到训练完成的大导师模型ML;

所述使用有标注样本集合Dl训练小导师模型得到训练完成的小导师模型MB,具体为:S26:训练集Dl={xu}={x,y}中,x表示输入样例,y表示真实标签;对输入样例x添加提示模板转化成完形填空任务形式:P(x)=[CLS] x It is [MASK].[SEP],其中[MASK]为填充词;

S27:将L作为分类任务的标签集合,V作为分类任务的标签词集合,构造标签映射函数:;通过基于提示的预训练语言模型M得到[MASK]对应位置在不同标签上的得分

,

其中 , 表示标签l对应的标签词,k为标签词的长度;

S28:通过softmax层建立预测[MASK]在不同标签l上的类别概率,通过类别概率得到输入样例x的情感类别;

S29:建立小导师模型的输出层的损失函数;

S210:重复S27~S29,直到小导师模型收敛,结束训练,得到训练完成的小导师模型MB。

4.根据权利要求3所述的基于大小导师知识蒸馏的少样本情感分类方法,其特征在于:所述使用训练完成的小导师模型MB预测全部未标注样本xu′得到样本概率 ,计算每个样本概率的不确定性 ,具体为:S31:将全部未标注样本xu′输入训练完成的小导师模型MB,预测得到的概率分布为;

S32:计算每个样本概率的不确定性 ,计算公式为:;

其中|L|为分类任务中标签的类别个数。

5.根据权利要求1所述的基于大小导师知识蒸馏的少样本情感分类方法,其特征在于:所述预设阈值threshold的取值范围为 。

6.根据权利要求1所述的基于大小导师知识蒸馏的少样本情感分类方法,其特征在于:所述将不确定性 与预设阈值threshold比较,筛选出样本概率高度不确定的样本xu″,具体为:

若样本概率的不确定性 大于threshold,则将此样本作为样本概率高度不确定的样本xu″。

7.根据权利要求3所述的基于大小导师知识蒸馏的少样本情感分类方法,其特征在于:所述将样本xu′输入训练完成的小导师模型MB得到小导师模型的软标签P,将样本xu″输入训练完成的大导师模型ML得到大导师模型的软标签P′,结合小导师模型的软标签P和大导师模型的软标签P′得到最终的软标签 ,具体为:S51:将样本xu ′输入训练完成的小导师模型MB得到小导师模型的软标签,T是蒸馏模型的温度参数;

S52:将样本xu″输入训练完成的大导师模型ML得到大导师模型的软标签;

S53: 的表达式为:

。

8.根据权利要求1‑7任一项所述的基于大小导师知识蒸馏的少样本情感分类方法,其特征在于:所述使用所述未标注样本集合Du和所述软标签 蒸馏学生模型,得到蒸馏完成的学生模型,具体过程为:S61:将未标注样本集合Du作为蒸馏学生模型的训练集,经过学生模型的向量表示为,其中g( )表示学生模型的网络函数,Au为未标注样本集合Du对应的词向量矩阵,上标s表示学生模型, 表示学生模型的可学习参数;

S62:建立学生模型输出层的损失函数 ,其中n表示批大小, 表示经过学生模型的第i个样本的预测概率, 表示最终的样本概率 中第i个样本的预测概率,T是蒸馏模型的温度参数,DKL表示KL散度损失函数;

S63: 依次经过线性层和softmax激活层,得到未标注样本集合Du的概率输出s,W 表示学生模型的线性层上待学习

的权重矩阵;

S64:使用损失函数LKD更新学生模型的可学习参数;

S65:重复S61~S64直到损失函数LKD收敛,得到蒸馏完成的学生模型。

9.根据权利要求8所述的基于大小导师知识蒸馏的少样本情感分类方法,其特征在于:所述词向量矩阵Au中,每一行是输入样本xu′中每个字符的字向量表示,每个字符的字向量通过word2vec或Glove模型训练获得。

10.根据权利要求8所述的基于大小导师知识蒸馏的少样本情感分类方法,其特征在于:所述KL散度损失函数的表达式为 ,其中|L|为分类任务中标签的类别个数。