1.一种基于自蒸馏的用于资源受限情况下文档级关系抽取的方法,其特征在于,包括:
步骤1:使用符号“”对文档中的所有实体提及进行标注;
步骤2:使用预先训练好的BERT模型作为编码器,对文档进行编码;
步骤3:联合第一骨干模型和第一教师模型构建实体表示增强模块,通过实体表示增强模块,根据步骤1中的标注和步骤2中编码后的文档,获取实体嵌入;所述第一骨干模型利用实体提及开始和结束时的""嵌入来表示与提及嵌入相关的实体,采用Log-Sum-Exp池化方法得到所有与实体相关的提及的实体嵌入;
步骤4:联合第二骨干模型和第二教师模型构建实体对表示增强模块,通过实体对表示增强模块,根据步骤3得到的实体嵌入获取实体对嵌入;所述第二骨干模型中,利用线性和非线性激活层将实体嵌入映射到隐藏状态,将嵌入维度分为个等大的组,在每个组内应用双线性函数和sigmoid激活函数,得到关系适配于实体对的概率;
步骤5:依据自适应阈值损失函数对模型进行训练和优化,得到训练好的文档级关系抽取模型;
步骤6:基于文档级关系抽取模型对文档级关系进行抽取。
2.根据权利要求1所述的一种基于自蒸馏的用于资源受限情况下文档级关系抽取的方法,其特征在于,所述步骤1中,将符号“”放在每个实体提及处的开头和结尾处,以此来定位每一个实体提及。
3.根据权利要求1所述的一种基于自蒸馏的用于资源受限情况下文档级关系抽取的方法,其特征在于,所述步骤2中,使用预先训练好的BERT模型作为编码器,对文档进行一次编码;对于超过 512 个词组的文档,采用动态窗口法对整个文档进行编码,随后计算不同窗口中重叠嵌入的平均值,得到最终的单词嵌入。
4.根据权利要求1所述的一种基于自蒸馏的用于资源受限情况下文档级关系抽取的方法,其特征在于,所述第一教师模型中,使用RSMAN对实体表示进行增强。
5.根据权利要求1所述的一种基于自蒸馏的用于资源受限情况下文档级关系抽取的方法,其特征在于,所述第二骨干模型中,通过以下公式对关系的概率进行计算:其中表示可学习的权值矩阵,表示双线性函数,和分别指主语实体和宾语实体,和分别表示和对应的隐藏状态,表示可学习参数,表示神经网络中的偏置单元,表示了关系适配于实体对的概率。
6.根据权利要求1所述的一种基于自蒸馏的用于资源受限情况下文档级关系抽取的方法,其特征在于,所述第二教师模型中,在将特定关系对应的实体表示按关系类型的顺序排列后,使用线性层和激活函数将排序后的实体映射到隐藏状态,从而分别获得主语实体和宾语实体的表示。
7.根据权利要求1所述的一种基于自蒸馏的用于资源受限情况下文档级关系抽取的方法,其特征在于,所述第二教师模型中,采用轴向注意力机制增强每一个实体对在轴向上的邻域信息,利用轴向注意力来捕获以邻接矩阵表示的两跳内的信息,所述轴向注意力通过沿水平轴和垂直轴的外部注意力来计算。
8.根据权利要求1所述的一种基于自蒸馏的用于资源受限情况下文档级关系抽取的方法,其特征在于,所述自适应阈值损失函数为:其中,表示自适应阈值类,表示实际关系, 、分别表示正例、负例,正例表示超过自适应阈值的关系,负例表示低于自适应阈值的关系,中表示正例和自定义的阈值关系,为指数函数,为模型,用来作为网络结构中的分类层,中表示负例和自定义的阈值关系;通过自适应阈值损失函数得到第一教师模型/第二教师模型的损失,以及第一骨干模型/第二骨干模型的损失;
模型整体损失函数为:
其中,和表示超参数,为第一骨干模型/第二骨干模型和第一教师模型/第二教师模型的最终对数之间的均方损失,表示根据第一骨干模型/第二骨干模型和第一教师模型/第二教师模型的实体特征和实体对特征计算出的余弦相似度。
9.一种基于自蒸馏的用于资源受限情况下文档级关系抽取的系统,其特征在于,包括:
数据预处理单元,用于使用符号“”对文档中的所有实体提及进行标注;
文本表示单元,用于使用预先训练好的BERT模型作为编码器,对文档进行编码;
实体嵌入获取单元,用于联合第一骨干模型和第一教师模型构建实体表示增强模块,通过实体表示增强模块,根据数据预处理单元中的标注和文本表示单元中编码后的文档,获取实体嵌入;所述第一骨干模型利用实体提及开始和结束时的""嵌入来表示与提及嵌入相关的实体,采用Log-Sum-Exp池化方法得到所有与实体相关的提及的实体嵌入;
实体对嵌入获取单元,用于联合第二骨干模型和第二教师模型构建实体对表示增强模块,通过实体对表示增强模块,根据实体嵌入获取单元得到的实体嵌入获取实体对嵌入;所述第二骨干模型中,利用线性和非线性激活层将实体嵌入映射到隐藏状态,将嵌入维度分为个等大的组,在每个组内应用双线性函数和sigmoid激活函数,得到关系适配于实体对的概率;
自适应训练单元,用于依据自适应阈值损失函数对模型进行训练和优化,得到训练好的文档级关系抽取模型;
文档级关系抽取单元,用于基于文档级关系抽取模型对文档级关系进行抽取。