欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020106541374
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-06-03
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于知识互蒸馏的评论情感分析方法,其特征在于,所述方法包括如下步骤:步骤一:从训练数据集中确定一当前训练实例,基于第一分类器计算得到第一情感预测结果,其中所述第一分类器以带有用户属性以及产品属性的评论文本作为输入,其中所述用户属性表示发表评论文本所对应的不同用户,所述产品属性表示评论文本中的评论对象所指向的不同产品;

步骤二:在忽略所述当前训练实例的产品属性的情况下,基于第二分类器计算得到第二情感预测结果,以及在忽略所述当前训练实例的用户属性的情况下,基于第三分类器计算得到第三情感预测结果,其中所述第二分类器以仅有用户属性的评论文本作为输入,所述第三分类器以仅有产品属性的评论文本作为输入;

步骤三:根据所述第一情感预测结果、所述第二情感预测结果、所述第三情感预测结果以及真实类别标记,分别计算三个分类器各自对应的总体代价函数并对各所述总体代价函数进行最小化处理,以对各分类器进行参数迭代更新实现最终收敛,其中所述真实类别标记为训练数据集中人工标注的情感类别,以用作分类器的训练目标之一,所述第一分类器用于带有用户和产品两种属性的评论情感分析,所述第二分类器用于仅有用户属性的评论情感分析,所述第三分类器用于仅有产品属性的评论情感分析。

2.根据权利要求1所述的基于知识互蒸馏的评论情感分析方法,其特征在于,在所述步骤一中,所述当前训练实例表述为:表示当前训练实例,表示当前训练实例的评论文本,表示当前训练实例的用户属性, 表示当前训练实例的产品属性。

3.根据权利要求2所述的基于知识互蒸馏的评论情感分析方法,其特征在于,基于第一分类器 计算得到当前训练实例对应的第一情感预测结果表示为:其中, 为融合了用户和产品属性的评论文本的特征表示, 为第一分类器中分类层的参数,softmax为用于输出分类概率的归一化函数, 为基于第一分类器计算得到的当前训练实例对应的第一情感预测结果;

第二分类器 的输入为仅带有用户属性的评论文本 ,对应的第二

情感预测结果为 ;

第三分类器 的输入为仅带有产品属性的评论文本 ,对应的第三

情感预测结果为 ;

其中, 和 均为占位符,分别用于表示缺失的产品属性和用户属性。

4.根据权利要求3所述的基于知识互蒸馏的评论情感分析方法,其特征在于,在所述步骤三中,所述第一分类器对应的总体代价函数的计算方法包括如下步骤:根据所述第一情感预测结果计算得到第一基础代价函数,并根据所述第一基础代价函数以及第一额外代价函数计算得到与所述第一分类器对应的总体代价函数;

所述第一基础代价函数表示为:

其中, 为所述第一基础代价函数, 为第一分类器 的参数集,  表示真实类别标记 的第 个分量, 表示第一情感预测结果 的第 个分量, 指整个训练数据集, 对应的真实类别标记为 , 为一个M维的one-hot编码向量,M表示情感类别的数量;

所述第一额外代价函数表示为:

其中, 为第一额外代价函数, 以及

均指KL距离, 用于衡量第一分类器 与第二分类器 的情感预

测结果之间的匹配程度, 用于衡量第一分类器 与第三分类器

的情感预测结果之间的匹配程度,  表示第二情感预测结果 的第 个分量, 表示第三情感预测结果 的第 个分量;

所述第一分类器 对应的总体代价函数表示为:

其中, 为第一分类器 对应的总体代价函数, 表示第一额外代价函数占的比重,即第二分类器 以及第三分类器 提供的情感预测结果在第一分类器 对应的总体代价函数中所占的比重。

5.根据权利要求3所述的基于知识互蒸馏的评论情感分析方法,其特征在于,在所述步骤三中,所述第二分类器对应的总体代价函数的计算方法包括如下步骤:根据第二情感预测结果计算得到第二基础代价函数,并根据所述第二基础代价函数以及第二额外代价函数计算得到与所述第二分类器对应的总体代价函数;

所述第二基础代价函数表示为:

其中, 为所述第二基础代价函数, 是第二分类器 的参数集,  表示真实类别 的第 个分量, 表示第二情感预测结果 的第 个分量, 指代整个训练数据集, 对应的真实类别标记为 , 为一个M维的one-hot编码向量,M表示情感类别的数量;

所述第二额外代价函数表示为:

其中, 为第二额外代价函数, 以及 均

指KL距离, 用于衡量第二分类器 与第一分类器 的情感预测

结果之间的匹配程度, 用于衡量第二分类器 与第三分类器 的

情感预测结果之间的匹配程度, 表示第一情感预测结果 的第 个分量,表示第三情感预测结果 的第 个分量。

6.根据权利要求5所述的基于知识互蒸馏的评论情感分析方法,其特征在于,在所述步骤三中,所述第二分类器对应的总体代价函数表示为:其中, 为第二分类器 对应的总体代价函数, 为第二分类器 的参数集,表示第二额外代价函数占的比重,即第一分类器 以及第三分类器 提供的情感预测结果在第二分类器 对应的总体代价函数中所占的比重。

7.根据权利要求3所述的基于知识互蒸馏的评论情感分析方法,其特征在于,在所述步骤三中,所述第三分类器对应的总体代价函数的计算方法包括如下步骤:根据第三情感预测结果计算得到第三基础代价函数,并根据所述第三基础代价函数以及第三额外代价函数计算得到与所述第三分类器对应的总体代价函数;

所述第三基础代价函数表示为:

其中, 为所述第三基础代价函数, 是第三分类器 的参数集,  表示真实类别 的第 个分量, 表示第三情感预测结果 的第 个分量, 指整个训练数据集, 对应的真实类别标记为 , 为一个M维的one-hot编码向量,M表示情感类别的数量;

所述第三额外代价函数表示为:

其中, 为第三额外代价函数, 及 均指

KL距离,  用于衡量第三分类器 与第一分类器 的情感预测

结果之间的匹配程度, 用于衡量第三分类器 与第二分类器 的

情感预测结果之间的匹配程度, 表示第一情感预测结果 的第 个分量,表示第二情感预测结果 的第 个分量。

8.根据权利要求7所述的基于知识互蒸馏的评论情感分析方法,其特征在于,在所述步骤三中,所述第三分类器对应的总体代价函数表示为:其中, 为第三分类器 对应的总体代价函数,表示第三额外代价函数占的比重,即第一分类器 以及第二分类器 提供的情感预测结果在第三分类器 对应的总体代价函数中所占的比重。

9.一种基于知识互蒸馏的评论情感分析装置,其特征在于,所述装置执行如上述权利要求1至8任意一项所述的基于知识互蒸馏的评论情感分析方法,所述装置包括:第一计算模块,用于从训练数据集中确定一当前训练实例,基于第一分类器计算得到第一情感预测结果,其中所述第一分类器以带有用户属性以及产品属性的评论文本作为输入,其中所述用户属性表示发表评论文本所对应的不同用户,所述产品属性表示评论文本中的评论对象所指向的不同产品;

第二计算模块,用于在忽略所述当前训练实例的产品属性的情况下,基于第二分类器计算得到第二情感预测结果,以及在忽略所述当前训练实例的用户属性的情况下,基于第三分类器计算得到第三情感预测结果,其中所述第二分类器以仅有用户属性的评论文本作为输入,所述第三分类器以仅有产品属性的评论文本作为输入;

更新收敛模块,用于根据所述第一情感预测结果、所述第二情感预测结果、所述第三情感预测结果以及真实类别标记,分别计算三个分类器各自对应的总体代价函数并对各所述总体代价函数进行最小化处理,以对各分类器进行参数迭代更新实现最终收敛,其中所述真实类别标记为训练数据集中人工标注的情感类别,以用作分类器的训练目标之一,所述第一分类器用于带有用户和产品两种属性的评论情感分析,所述第二分类器用于仅有用户属性的评论情感分析,所述第三分类器用于仅有产品属性的评论情感分析。

10.一种基于知识互蒸馏的评论情感分析系统,其特征在于,所述系统包括一控制器,所述控制器执行如上述权利要求1至8任意一项所述的基于知识互蒸馏的评论情感分析方法。