欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020113247737
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种多任务标签嵌入的情感分析神经网络模型构建方法,其特征在于,包括以下步骤:步骤S1、将文本信息和标签信息输入语言模型XLNet进行训练,所述语言模型XLNet分别将文本信息和标签信息中的每个词分别重新随机排列,得到所有可能的因式分解序列;

步骤S2、通过最大化所有可能的因式分解序列的对数似然函数来确定目标函数,进而得到文本信息与标签信息的向量化表示;

步骤S3、将步骤S2中获得的文本向量与标签向量作矢量匹配运算,并计算其匹配打分值;

步骤S4、利用步骤S3得到的匹配打分值,计算单个情感任务的损失函数;

步骤S5、对所有情感任务的损失函数进行线性加权求和,得到MTLE‑XLNet模型最终的损失函数;

在所述步骤S2中,所述对数似然函数的表达式为:公式(1)中, 表示添加了位置信息zt后的transformer的输出值,zt表示位置信息,e(x)表示元素x的词嵌入,x′表示词库表中任意一个可能出现的单词,z表示长度为T的序列X={x1,x2,x3,……,xT}所产生的所有排列组合序列集 中的某一个子序列, 表示期望,默认所有序列的可能性是一样的,即 zt表示z序列中的第t个元素, 表示前t‑T

1个元素,e(x) 表示词嵌入e(x)的转置;

所述目标函数的表达式为:

公式(2)中,z表示长度为T的序列X={x1,x2,x3,……,xT}所产生的所有排列组合序列集中的某一个子序列,表示期望,默认所有序列的可能性是一样的,即 zt表示z序列中的第t个元素, 表示前t‑1个元素;

在所述步骤S3中,所述计算其匹配打分值,具体为:(k)

通过匹配模块将文本向量X 和标签向量 直接拼接后得到的向量 再将向量送到全连接层,计算得到文本和标签的整体表示,记作所述匹配打分值的表达式为:

公式(3)中,σ表示sigmoid函数;

所述步骤S4,具体为:

步骤S401、计算样本真实的概率分布;

公式(4)中, 表示样本真实的概率分布, 表示为匹配打分值, 表示该文本与标签c的匹配打分值,Ck为该任务的标签个数;

(k)

步骤S402、计算单个任务的交叉熵损失函数l ,表达式为:公式(5)中, 表示样本真实的概率分布,Ck为该任务的标签个数;

在所述步骤S5中,所述最终的损失函数为L,表达式为:(k)

公式(6)中,Nk表示任务Tk的样本总量, 表示第i个任务的交叉熵损失函数,λ 表示任务k的权重,K为最大任务个数。