欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023110451406
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于样本相似性计算的负采样远程监督实体识别方法,其特征在于:所述方法的具体步骤如下:步骤1:对数据集中的原始数据进行处理,得到训练样本;然后对其中的实体部分通过外部实体词库进行同义实体词随机替换,生成新的句子,处理后作为增强样本;

步骤2:将增强样本与原有训练样本一起,使用预训练语言模型PLM的词编码模块进行编码,得到文本的词嵌入,然后通过预训练语言模型里的双向Transformer编码器对词嵌入进行编码处理,得到所有样本最终的特征向量;

步骤3:对从步骤2处理后获取的所有样本最终的特征向量,将其中的负样本部分与正样本部分进行相似度计算并对其打分,从中取出得分靠前的K个负样本,这K个得分高的负样本就认为其为漏标实体,而后与原有正样本一起参与训练;

所述步骤1中包含以下步骤:

步骤1.1:对从数据集中获取的原始数据进行处理,得到训练样本 :;

其中tokens为实体文本序列, 为实体文本序列中的第i个单词,m为实体文本序列中单词的数量;文本序列的子序列称为span,spans表示所有可能的输入的文本序列的子序列集合,其中 为文本序列的第i1个子序列的开始位置, 为文本序列的第i1个子序列的结束位置,n表示spans中文本序列的子序列的数量;spans_label表示文本序列的子序列对应的实体类型标签的集合,其中 为文本序列的第i2个子序列对应的实体类型标签,n1表示实体类型标签的数量;

步骤1.2:对训练样本S中的实体文本序列部分通过外部实体词库进行同义实体词随机替换,得到新的增强实体文本 ,其中 为第i3个替换的实体词;

步骤1.3:将训练样本S中的实体文本序列替换为增强实体文本,而且训练样本中的spans_label中的实体类型标签均标记为非实体,从而得到增强样本S ;

所述步骤2中包含如下内容:

步骤2.1:定义批次数据量为B,N为批次中最长 的数量,M为向量维度,T为批次中最长序列的长度;对从步骤1获取的训练样本 和增强样本S ,对 和S中的实体文本序列使用预训练语言模型PLM的词编码模块,得到对应的词嵌入向量集合 和 :, ;

其中 为 和S 中对应的第i4个词的词嵌入向量,同时对 和进行向量化处理;m为实体文本序列中单词的数量;文本序列的子序列称为span,spans表示所有可能的输入的文本序列的子序列集合,spans_label表示文本序列的子序列对应的实体类型标签的集合;

步骤2.2:对 和 进行拼接得到新的特征向量,将拼接后的新的特征向量输入预训练语言模型里的双向Transformer编码器进行编码进行处理,得到所有样本的特征向量 ,其中 为第i5个样本的特征向量;

步骤2.3:使用spans中的开始部分作为索引,从 中获取到实体的头部特征向量的集合,其中 为第i6个实体头部的特征向量,d为头部特征向量的数量;

步骤2.4:使用spans中结束的部分作为索引,从 中获取到获取实体的尾部特征向量的集合 ,其中 为第i7个实体尾部的特征向量,d为尾部特征向量的数量,也即头部特征向量的数量,头部特征向量的数量和尾部特征向量的数量相等;

步 骤 2 .5 :对 实 体 宽 度进 行 编 码 得 到 实 体 宽 度的 特 征 向 量 集 合;其中 为第i8个实体宽度的特征向量,v为实体宽度特征向量的数量;

步骤2.6:对前述步骤2.3‑步骤2.5得到的特征向量进行拼接得到;

而后对  使用多层线性层进行降维,得到所有样本最终的特征向量,其中 为经过降维后的特征向量,r为降维后的维度;

所述步骤3中包含以下步骤:

步骤3.1:对于从前序步骤获得的所有样本最终的特征向量P中包括正样本序列和负样本序列 ,其中 为正样本序列集合中的一个正样本, 为负样本序列集合中的一个负样本;对于每一个负样本,都对其与正样本序列中的每个正样本计算平均相似度得分:;

;

其中 为样本之间的相似度, 为相似度得分,B1为一个批次数据中正样本数量;

步骤3.2:以 为依据,从负样本序列中选出分数高的样本的对应索引,其中 为排序算法;根据索引,从负样本中一共取出K个相似度得分高的负样本即为漏标实体 ,其中为负采样后得到的第i9个样本,k为负采样采出的样本数量;而后将采样出的样本与原有的正样本一起投入训练模型参与训练,最后所有样本通过线性层后得到所有实体对于每种实体类型的分数: ;

其中 为所有实体对于每种实体类型的分数, 为线性层;

步骤3.3:对实体类型标签集 和所得实体类型得分 ,采用交叉熵损失计算标签类型损失 : ;其中, 为交叉熵损失函数。