欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023103197364
申请人: 华东交通大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-04-06
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于对比学习和Adapter网络的隐式篇章关系识别方法,其特征在于,所述方法包括如下步骤:步骤一、获取自然标注的显式篇章关系实例:

基于所自定义的模板从自然文本中自动获取与所预设的连接词相关的显式篇章关系实例;

步骤二、基于所获取的显式篇章关系实例使用分类代价和对比学习代价联合训练连接词分类模型:所述连接词分类模型包括编码层、池化层和第一分类层;

通过给定的显式篇章关系实例构建出所对应的正例和负例,通过编码层对显式篇章关系实例、正例及负例进行计算得到所对应的语义矩阵表示,通过池化层对显式篇章关系实例、正例及负例所对应的语义矩阵表示进行平均池化操作计算得到所对应的语义向量表示,通过第一分类层对显式篇章关系实例的语义向量表示进行计算得到连接词分类结果,并根据交叉熵代价函数对连接词分类结果进行计算得到分类代价;

根据对比学习代价函数对显式篇章关系实例、正例及负例的语义向量表示进行计算得到对比学习代价;

根据对分类代价和对比学习代价进行线性求和得到连接词分类模型的总代价,以进行连接词分类模型训练;

步骤三、基于训练好的连接词分类模型和Adapter网络构建隐式篇章关系识别模型,并基于人工标注的隐式篇章关系实例优化隐式篇章关系识别模型:所述隐式篇章关系识别模型包括取自于连接词分类模型中的编码层,Adapter网络,池化与拼接层,及第二分类层;

通过编码层对隐式篇章关系实例进行计算得到所对应的语义矩阵表示,通过Adapter网络对隐式篇章关系实例的语义矩阵表示进行变换得到变换语义矩阵表示,通过池化与拼接层对隐式篇章关系实例的语义矩阵表示及变换语义矩阵表示进行矩阵拼接操作以及平均池化操作计算得到隐式篇章关系实例的语义向量表示,通过第二分类层对隐式篇章关系实例的语义向量表示进行计算得到预测结果;

根据交叉熵代价函数对预测结果进行计算得到交叉熵代价,并基于交叉熵代价调整Adapter网络及第二分类层中的参数以调整隐式篇章关系识别模型;

步骤四、基于隐式篇章关系识别模型识别隐式篇章关系实例的类别。

2.如权利要求1所述的基于对比学习和Adapter网络的隐式篇章关系识别方法,其特征在于,所述通过编码层对显式篇章关系实例、正例及负例进行计算得到所对应的语义矩阵表示的公式表达式为:;

其中, 为 的语义矩阵表示, 为 的语义矩阵表示, 为 的语义矩阵表示, 为显式篇章关系实例, 为显式篇章关系实例的正例, 为显式篇章关系实例的负例,为使用预训练好的BERT模型中的参数初始化的编码层;

所述通过池化层对显式篇章关系实例、正例及负例所对应的语义矩阵表示进行平均池化操作计算得到所对应的语义向量表示的公式表达式为:;

其中, 为 的语义向量表示, 为 的语义向量表示, 为 的语义向量表示,为平均池化操作;

所述通过第一分类层对显式篇章关系实例的语义向量表示进行计算得到连接词分类结果的公式表达式为: ;

其中,第一分类层由一个全连接层和一个softmax函数变换组成, 为连接词分类结果, 和 是全连接层中的参数, 为 的语义向量表示。

3.如权利要求2所述的基于对比学习和Adapter网络的隐式篇章关系识别方法,其特征在于,所述根据交叉熵代价函数对连接词分类结果进行计算得到分类代价的公式表达式为:;

其中, 为分类代价, 为连接词分类模型的参数集, 为显式篇章关系实例 的真实类别,  为连接词分类结果 关于真实类别的期望值, 为所给定的所有显式篇章关系实例 、所对应的正例 和负例 、以及显式篇章关系实例 的真实类别所组合成的一个显式篇章关系数据集。

4.如权利要求3所述的基于对比学习和Adapter网络的隐式篇章关系识别方法,其特征在于,所述根据对比学习代价函数对显式篇章关系实例、正例及负例的语义向量表示进行计算得到对比学习代价的公式表达式为:;

其中, 为对比学习代价, 为 的语义向量表示, 为 的语义向量表示, 为的语义向量表示, 为度量两个向量间的余弦距离, 为向量的2‑范数,表示向量的转置。

5.如权利要求4所述的基于对比学习和Adapter网络的隐式篇章关系识别方法,其特征在于,所述根据对分类代价和对比学习代价进行线性求和得到连接词分类模型的总代价的公式表达式为:;

其中, 为总代价, 为分类代价, 为对比学习代价,为权重系数,用于调节分类代价和对比学习代价的重要程度。

6.如权利要求1所述的基于对比学习和Adapter网络的隐式篇章关系识别方法,其特征在于,所述通过编码层对隐式篇章关系实例进行计算得到所对应的语义矩阵表示的公式表达式为:;

其中, 为隐式篇章关系实例在第 层的语义矩阵表示, 为隐式篇章关系实例在第

12层的语义矩阵表示, 为编码层中的第 个Transformer层, 为编码层中的第

12个Transformer层, 为隐式篇章关系实例,其中 为隐式篇章关系识别模型的一个超参数。

7.如权利要求6所述的基于对比学习和Adapter网络的隐式篇章关系识别方法,其特征在于,所述Adapter网络包括两个Adapter层,分别为第一Adapter层和第二Adapter层,其中每个Adapter层分别由一个多层前馈神经网络和一个Transformer层组成,Adapter网络以编码层所输出的第 层和第12层的语义矩阵表示作为输入,并对第 层和第12层的语义矩阵表示进行变换得到对应的变换语义矩阵表示;

所述通过Adapter网络对隐式篇章关系实例的语义矩阵表示进行变换得到变换语义矩阵表示的公式表达式为:;

其中, 为第一Adapter层中的多层前馈神经网络, 为第二Adapter层中的多层前馈神经网络, 为第一Adapter层中的Transformer层, 为第二Adapter层中的Transformer层, 为第一Adapter层的输出, 为第二Adapter层的输出, 为矩阵拼接操作, 为Adapter网络的初始输入。

8.如权利要求7所述的基于对比学习和Adapter网络的隐式篇章关系识别方法,其特征在于,所述通过池化与拼接层对隐式篇章关系实例的语义矩阵表示及变换语义矩阵表示进行矩阵拼接操作以及平均池化操作计算得到隐式篇章关系实例的语义向量表示的公式表达式为:;

其中, 为隐式篇章关系实例 的语义向量表示, 为平均池化操作, 为矩阵拼接操作, 为经变换后的变换语义矩阵表示, 为隐式篇章关系实例的语义矩阵表示;

所述通过第二分类层对隐式篇章关系实例的语义向量表示进行计算得到预测结果的公式表达式为:  ;

其中,第二分类层由一个全连接层和一个softmax函数变换组成, 为预测结果, 和均为全连接层中的参数, 为 的语义向量表示。

9.如权利要求8所述的基于对比学习和Adapter网络的隐式篇章关系识别方法,其特征在于,所述根据交叉熵代价函数对预测结果进行计算得到交叉熵代价的公式表达式为:;

其中, 为交叉熵代价, 为隐式篇章关系识别模型的参数集, 为隐式篇章关系实例 的真实类别, 为预测结果, 为预测结果关于真实类别的期望值,为所给定的所有隐式篇章关系实例 及隐式篇章关系实例 的真实类别 所组合成的一个隐式篇章关系数据集。

10.一种基于对比学习和Adapter网络的隐式篇章关系识别系统,其特征在于,所述系统执行如上述权利要求1‑9任意一项所述的方法,所述系统包括:显式篇章关系实例获取模块,用于获取自然标注的显式篇章关系实例,基于所自定义的模板从自然文本中自动获取与所预设的连接词相关的显式篇章关系实例;

连接词分类模型训练模块,用于基于所获取的显式篇章关系实例使用分类代价和对比学习代价联合训练连接词分类模型,所述连接词分类模型包括编码层、池化层和第一分类层;

通过给定的显式篇章关系实例构建出所对应的正例和负例,通过编码层对显式篇章关系实例、正例及负例进行计算得到所对应的语义矩阵表示,通过池化层对显式篇章关系实例、正例及负例所对应的语义矩阵表示进行平均池化操作计算得到所对应的语义向量表示,通过第一分类层对显式篇章关系实例的语义向量表示进行计算得到连接词分类结果,并根据交叉熵代价函数对连接词分类结果进行计算得到分类代价;

根据对比学习代价函数对显式篇章关系实例、正例及负例的语义向量表示进行计算得到对比学习代价;

根据对分类代价和对比学习代价进行线性求和得到连接词分类模型的总代价,以进行连接词分类模型训练;

隐式篇章关系识别模型调整模块,用于基于训练好的连接词分类模型和Adapter网络构建隐式篇章关系识别模型,并基于人工标注的隐式篇章关系实例优化隐式篇章关系识别模型,所述隐式篇章关系识别模型包括取自于连接词分类模型中的编码层,Adapter网络,池化与拼接层,及第二分类层;

通过编码层对隐式篇章关系实例进行计算得到所对应的语义矩阵表示,通过Adapter网络对隐式篇章关系实例的语义矩阵表示进行变换得到变换语义矩阵表示,通过池化与拼接层对隐式篇章关系实例的语义矩阵表示及变换语义矩阵表示进行矩阵拼接操作以及平均池化操作计算得到隐式篇章关系实例的语义向量表示,通过第二分类层对隐式篇章关系实例的语义向量表示进行计算得到预测结果;

根据交叉熵代价函数对预测结果进行计算得到交叉熵代价,并基于交叉熵代价调整Adapter网络及第二分类层中的参数以调整隐式篇章关系识别模型;

隐式篇章关系识别模块,用于基于隐式篇章关系识别模型识别隐式篇章关系实例的类别。