欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022109171611
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种网络文档关系抽取方法,其特征在于,主要包括以下步骤:

步骤1、使用每个实体中的第一次出现的提及替换该实体中剩余的所有提及;

步骤2、建立预训练模型,分别使用文档级对比预训练和掩码语言模型预训练对预训练模型进行训练,得到文档级对比预训练的损失函数和掩码语言模型预训练的损失函数,加权后得到总体损失函数;步骤2中,文档级对比预训练的损失函数如下:其中,DA表示要预测的含有目标关系的文档样本,是DA的转置,DB表示与含有相同目标关系的文档样本,表示随机选取的含有不同关系的文档样本,N表示随机抽取的负样本个数,对数log以自然常数e为底;

步骤3、在每个实体的所有的提及的前后分别插入开始符号和结束符号,使用训练后的预训练模型对文档样本进行上下文编码,得到每个标记的向量表示,将每个标记的命名实体识别信息和词性标注信息分别转化为向量表示并与每个标记的向量表示进行拼接,得到词嵌入表示和文档嵌入表示;

步骤4、对于头实体或尾实体进行表示增强,得到头实体和尾实体的最终嵌入表示;将步骤3获得的头实体和尾实体的嵌入表示进行表示增强,得到头实体和尾实体的最终嵌入表示εh和εt:其中,→表示hm和tm是头实体h和尾实体t的一个提及,εhm和εtm表示头实体h和尾实体t的一个提及hm和tm的嵌入表示,dist()表示提及之间的关系距离;

步骤5、将头实体和尾实体分别映射到隐藏状态,使用二元交叉熵损失函数计算头实体和尾实体之间存在关系的可能性,选取可能性最高的关系作为关系分类的结果。

2.根据权利要求1所述的网络文档关系抽取方法,其特征在于:在步骤1中,对于实体M,有n个提及{M1,M2,…,Mn},其中n≥1,当n>1时,使用M1替换{M2,M3,…,Mn},当n=1时,跳过步骤1。

3.根据权利要求1所述的网络文档关系抽取方法,其特征在于:步骤2中,掩码语言模型预训练的损失函数如下:其中,表示屏蔽标记,S表示输入的单词序列,m(S)表示S中的屏蔽标记集合,S\m(S)表示S中的未屏蔽标记,P表示在词汇表中选择一个标记来恢复屏蔽标记的概率。

4.根据权利要求3所述的网络文档关系抽取方法,其特征在于:总体损失函数如下:其中,γ1和γ2是平衡文档级对比预训练的损失函数和掩码语言模型预训练的损失函数的权重参数。

5.根据权利要求3所述的网络文档关系抽取方法,其特征在于:步骤3中,对文档样本中的每一个单词wi,wi的词嵌入表示xi的计算公式如下:[x1,x2,…,xl′]=BERT([w1,w2,...,wl′]),其中,l′是文档的长度,BERT表示经过文档级对比预训练和掩码语言模型预训练后的预训练模型;将每个标记的命名实体识别信息和词性标注信息分别转化为向量表示,得到向量和将向量和与单词wi的词嵌入表示xi进行拼接,得到词嵌入表示x′i:其中,;表示拼接操作,而文档嵌入表示H为:

6.根据权利要求5所述的网络文档关系抽取方法,其特征在于:在得到头实体和尾实体的最终嵌入表示εh和εt后,将头实体和尾实体分别映射到隐藏状态zh和zt:zh=σ(Whεh),

zt=σ(Wtεt),

其中,{Wh,Wt}∈Rd×d表示权重矩阵,σ表示非线性激活函数。

7.根据权利要求6所述的网络文档关系抽取方法,其特征在于:对头实体和尾实体进行关系预测,头实体和尾实体之间存在关系r的可能性:其中,Wr∈Rd×d表示权重矩阵,br∈Rd表示偏置项。

8.根据权利要求7所述的网络文档关系抽取方法,其特征在于:使用二元交叉熵损失函数计算得到头实体和尾实体之间存在关系r的可能性,二元交叉熵损失函数的计算公式如下:其中,c为预设的关系种类个数,ri为二元标签0或1,当关系r存在时ri为1,反之为0。

9.一种网络文档关系抽取系统,其特征在于:应用如权利要求1-8中任一项所述的网络文档关系抽取方法。