欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202210250075X
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种结合近邻分析的两阶段分类的命名实体识别方法,其特征在于:所述方法的具体步骤如下:

Step1、对数据集中获取的英文文本和标签进行预处理,取出文本中每句话,每句话中存在的实体、实体标签对应的编号,每个实体在句子中的位置以及记录数据集中的实体总数量;

Step2、通过Bert编码器将Step1预处理过的数据中的每句话进行特征编码,将获得的特征编码输入globalpointer模型得到实体范围,对获得的实体范围的首尾位置对应的特征向量进行拼接得到新的表征,将表征输入结合近邻分析算法的实体分类器,得到每个实体的类别的概率。

2.根据权利要求1所述的结合近邻分析的两阶段分类的命名实体识别方法,其特征在于:所述Step1包括如下:

Step1.1、对数据集进行切分,将数据集切分按0.1的比例进行切分成train数据集和test数据集;

Step1.2、对数据集中涉及的类别进行编号,将数据集中每个实体对应的类别转化成编号;

Step1.3、记录数据集中出现的实体属于数据集中的第几个实体。

3.根据权利要求1所述的结合近邻分析的两阶段分类的命名实体识别方法,其特征在于:所述Step2的具体步骤如下:

Step2.1、将预处理后的数据作为Bert编码器的输入,每个训练样本S={'text':'s1,s2,...,sn','label':{...{'lk':...{'entityi':[starti,endi]}}}},包含句子序列s1,s2,...,sn、实体entityi、实体标签lk、实体的范围[starti,endi],其中n表示句子序列的长度,i表示句子中第几个实体,k表示句子中第几个实体标签,同时记录该实体为数据集中的第几个实体,记为num;对每个输入样本中的句子序列s1,s2,...,sn进行编码,得到对应的句子嵌入 将实体标签转化为对应的标签编号tagid,最后的数据表示为ds,Step2.2、将数据ds中的特征编码input_ids输入globalpointer模型得到句子中的实体位置;输入句子编码序列 通过变换qi,α=Wq,αhi+bq,α和ki,α=wk,αhi+bk,α,从而得到序列向量序列[qi,α,q2,α,...,qn,α]和[k1,α,k2,α,...,kn,α],表示识别第α种类型实体所用的向量序列,计算句子中第i个片段到第j个片段是一个实体的打分sα(i,j):T

sα(i,j)=qi,αkj,α    (1)其中sα(i,j)>0即表示句子中的片段[i,j]为实体;

Step2.3、在句子编码序列 中选出第i个片段和第j个片段对应的特征向量和 将 和 拼接得到新的特征向量ek,将ek作为该实体的特征表示,以此类推,得到实体向量序列E:[e1,e2,...,ek];

Step2.4、将实体向量序列E:[e1,e2,...,ek]作为基于近邻分析算法的实体分类器的输入;输入实体向量序列E:[e1,e2,...,ek],将实体向量序列E:[e1,e2,...,ek]存入offline memoty模块中,计算实体i和实体j之间的余弦相似度Sij:其中φ表示ei和ej之间的夹角,得到的任意两实体之间的相似度矩阵similarity matrix;实体i和实体j为邻居的概率Pij为:其中,每个实体不能和自己做邻居,故Pii=0,σ为超参数,用于控制邻域的规模,实体i被正确分类的概率Pi为:其中Ω={j|yj=yi}表示与实体i共享相同标签的索引;

Step2.5、使用argmax函数对Pi进行计算,得到实体i的预测标签labeli:其中y指所有实体。

4.根据权利要求1所述的结合近邻分析的两阶段分类的命名实体识别方法,其特征在于:所述Step2还包括:

Step2.6、将整个数据集的特征作为增强的非参数memory模块,通过随机梯度下降来学习特征嵌入网络;

(t) (t) (t)

在第t+1次迭代开始时,假设网络参数为θ(t),memory为M(t)={e1 ,e2 ,...,en },由于memory总是随着迭代不断变换,近似地认为:其中,xi表示实体向量表征,即实体向量序列E中的ei;

每次计算完ei后,对memory进行更新:(t+1) (t)

ei ←m·ei +(1‑m)ei    (7)Step2.7、损失函数Loss分为基于globalpointer的实体范围检测器的损失函数Lossglobalpointer和基于近邻分析的实体分类器的损失函数Lossnca:Loss=Lossglobalpointer+Lossnca    (10)其中,公式(6)中Pα是样本的所有类型为α的实体的首尾集合,Qα是样本的所有非实体或者类型非α的实体的首尾集合,公式(7)中Pi表示实体i正确分类的概率。