1.一种基于样本相似性计算的负采样远程监督实体识别方法,其特征在于:所述方法的具体步骤如下:步骤1:对数据集中的原始数据进行处理,得到训练样本;然后对其中的实体部分通过外部实体词库进行同义实体词随机替换,生成新的句子,处理后作为增强样本;
步骤2:将增强样本与原有训练样本一起,使用预训练语言模型PLM的词编码模块进行编码,得到文本的词嵌入,然后通过预训练语言模型里的双向Transformer编码器对词嵌入进行编码处理,得到所有样本最终的特征向量;
步骤3:对从步骤2处理后获取的所有样本最终的特征向量,将其中的负样本部分与正样本部分进行相似度计算并对其打分,从中取出得分靠前的K个负样本,这K个得分高的负样本就认为其为漏标实体,而后与原有正样本一起参与训练;
所述步骤1中包含以下步骤:
步骤1.1:对从数据集中获取的原始数据进行处理,得到训练样本 :;
其中tokens为实体文本序列, 为实体文本序列中的第i个单词,m为实体文本序列中单词的数量;文本序列的子序列称为span,spans表示所有可能的输入的文本序列的子序列集合,其中 为文本序列的第i1个子序列的开始位置, 为文本序列的第i1个子序列的结束位置,n表示spans中文本序列的子序列的数量;spans_label表示文本序列的子序列对应的实体类型标签的集合,其中 为文本序列的第i2个子序列对应的实体类型标签,n1表示实体类型标签的数量;
步骤1.2:对训练样本S中的实体文本序列部分通过外部实体词库进行同义实体词随机替换,得到新的增强实体文本 ,其中 为第i3个替换的实体词;
步骤1.3:将训练样本S中的实体文本序列替换为增强实体文本,而且训练样本中的spans_label中的实体类型标签均标记为非实体,从而得到增强样本S ;
所述步骤2中包含如下内容:
步骤2.1:定义批次数据量为B,N为批次中最长 的数量,M为向量维度,T为批次中最长序列的长度;对从步骤1获取的训练样本 和增强样本S ,对 和S中的实体文本序列使用预训练语言模型PLM的词编码模块,得到对应的词嵌入向量集合 和 :, ;
其中 为 和S 中对应的第i4个词的词嵌入向量,同时对 和进行向量化处理;m为实体文本序列中单词的数量;文本序列的子序列称为span,spans表示所有可能的输入的文本序列的子序列集合,spans_label表示文本序列的子序列对应的实体类型标签的集合;
步骤2.2:对 和 进行拼接得到新的特征向量,将拼接后的新的特征向量输入预训练语言模型里的双向Transformer编码器进行编码进行处理,得到所有样本的特征向量 ,其中 为第i5个样本的特征向量;
步骤2.3:使用spans中的开始部分作为索引,从 中获取到实体的头部特征向量的集合,其中 为第i6个实体头部的特征向量,d为头部特征向量的数量;
步骤2.4:使用spans中结束的部分作为索引,从 中获取到获取实体的尾部特征向量的集合 ,其中 为第i7个实体尾部的特征向量,d为尾部特征向量的数量,也即头部特征向量的数量,头部特征向量的数量和尾部特征向量的数量相等;
步 骤 2 .5 :对 实 体 宽 度进 行 编 码 得 到 实 体 宽 度的 特 征 向 量 集 合;其中 为第i8个实体宽度的特征向量,v为实体宽度特征向量的数量;
步骤2.6:对前述步骤2.3‑步骤2.5得到的特征向量进行拼接得到;
而后对 使用多层线性层进行降维,得到所有样本最终的特征向量,其中 为经过降维后的特征向量,r为降维后的维度;
所述步骤3中包含以下步骤:
步骤3.1:对于从前序步骤获得的所有样本最终的特征向量P中包括正样本序列和负样本序列 ,其中 为正样本序列集合中的一个正样本, 为负样本序列集合中的一个负样本;对于每一个负样本,都对其与正样本序列中的每个正样本计算平均相似度得分:;
;
其中 为样本之间的相似度, 为相似度得分,B1为一个批次数据中正样本数量;
步骤3.2:以 为依据,从负样本序列中选出分数高的样本的对应索引,其中 为排序算法;根据索引,从负样本中一共取出K个相似度得分高的负样本即为漏标实体 ,其中为负采样后得到的第i9个样本,k为负采样采出的样本数量;而后将采样出的样本与原有的正样本一起投入训练模型参与训练,最后所有样本通过线性层后得到所有实体对于每种实体类型的分数: ;
其中 为所有实体对于每种实体类型的分数, 为线性层;
步骤3.3:对实体类型标签集 和所得实体类型得分 ,采用交叉熵损失计算标签类型损失 : ;其中, 为交叉熵损失函数。