欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022100831527
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于图注意力网络的中文命名实体识别方法,其特征在于,包括以下步骤:(1)获取待中文命名实体识别的中文语句。

(2)基于步骤(1)得到的中文语句构建中文语句对应的字向量集合X。

(3)将步骤(2)得到的中文语句对应的字向量集合X输入训练好的基于图注意力网络的中文命名实体识别模型中,以得到该中文语句对应的中文命名实体标注。

2.根据权利要求1所述的基于图注意力网络的中文命名实体识别方法,其特征在于,步骤(2)首先是将中文语句表示为一个字符序列s={s1,s2,…,sm},其中sm表示中文语句中的第m个字符,其中m∈[1,中文语句中字符的总数量M];然后,对于该字符序列中的每一个字符而言,通过查找字符嵌入矩阵的方式将该字符表示为一个字向量xm=f(sm),所有字向量构成该中文语句对应的字向量集合X,其中f是一个字符嵌入查找表,由连续词袋模型CBOW训练得到。

3.根据权利要求1或2所述的基于图注意力网络的中文命名实体识别方法,其特征在于,步骤(3)中基于图注意力网络的中文命名实体识别模型是通过以下步骤训练得到的:(3‑1)获取采用BIOES标记方案标注好的中文命名实体识别数据集,将中文命名实体识别数据集中每个中文语句的文本映射成字向量,以得到中文命名实体识别数据集中每个中文语句对应的字向量集合。

(3‑2)将步骤(3‑1)得到的中文命名实体识别数据集中每个中文语句对应的字向量集合输入到双向长短时记忆BiLSTM模型中,以得到字向量的初步特征向量,再将字向量的初步特征向量输入到改进后的图注意力网络GAT模型中,以得到中文语句对应的最终特征向量。

(3‑3)将步骤(3‑2)得到的中文语句对应的最终特征向量输入条件随机场模型进行解码,以得到中文语句对应的中文命名实体标注,使用标注结果计算基于图注意力网络的中文命名实体识别模型的损失函数并训练BiLSTM模型、GAT模型的各参数,以得到训练好的基于图注意力网络的中文命名实体识别模型,其包含步骤(3‑2)中的BiLSTM模型、GAT模型与步骤(3‑3)中的条件随机场模型。

4.根据权利要求1至3中任意一项所述的基于图注意力网络的中文命名实体识别方法,其特征在于,步骤(3‑1)包括以下步骤:(3‑1‑1)获取多个领域的中文命名实体识别数据集,使用BIOES标记方案标注中文命名实体识别数据集,以得到标注后的中文命名实体识别数据集;

(3‑1‑2)基于步骤(3‑1‑1)得到的标注后的中文命名实体识别数据集,构建中文命名实体识别数据集中每个中文语句对应的字向量集合X。

5.根据权利要求4所述的基于图注意力网络的中文命名实体识别方法,其特征在于,步骤(3‑2)具体包括以下子步骤:

(3‑2‑1)针对步骤(3‑1)得到的中文命名实体识别数据集中每个中文语句对应的字向量集合X中的每个字向量而言,使用BiLSTM模型对其进行初步建模,以得到前向和后向两个不同的特征表示,并将这两个特征表示进行拼接,以得到包含上下文特征的该字向量对应的中文语句特征向量,该中文语句对应的字向量集合所对应的中文语句特征向量构成该中文语句对应的中文语句特征向量集合H={h1,h2,…,hm},其中m∈[1,中文语句中字符的总数量M];

(3‑2‑2)利用步骤(3‑1)得到的中文命名实体识别数据集中每个中文语句对应的字向量集合构建该中文语句对应的单词‑字符交互图G=(V,E)。

其中V是节点集合,节点集合包括中文语句对应的字向量集合中所有的字符和自匹配词;E是边集合,边包括了字向量集合中字符与字符之间的连接关系、字符与自匹配词之间的包含关系、自匹配词之间的连接关系;

(3‑2‑3)根据步骤(3‑2‑1)得到的中文语句对应的中文语句特征向量集合H和步骤(3‑

2‑2)中构建的该中文语句对应的单词‑字符交互图G获取该中文语句对应的字词信息融合相关系数矩阵e。

(3‑2‑4)对步骤(3‑2‑3)得到的中文语句对应的字词信息融合相关系数矩阵e中的每个元素e(hi,hj)进行归一化处理,以得到该中文语句对应的单词‑字符交互图G中两两节点之间的注意力系数αij;

(3‑2‑5)基于步骤(3‑2‑4)得到的中文语句对应的单词‑字符交互图G中两两节点之间的注意力系数αij,采用基数保留的图注意力网络计算方法,获取该中文语句对应的单词‑字符交互图G中每个节点的特征向量ki,该中文语句对应的单词‑字符交互图G中所有节点的特征向量ki构成该中文语句对应的单词‑字符交互图G对应的特征向量集合K;

(3‑2‑6)将步骤(3‑2‑5)得到的中文语句对应的单词‑字符交互图G对应的特征向量集合K与步骤(3‑2‑1)得到的该中文语句对应的中文语句特征向量集合H进行加权求和,以得到该中文语句对应的最终特征向量R=W1H+W2K,其中W1与W2为可训练的矩阵。

6.根据权利要求5所述的基于图注意力网络的中文命名实体识别方法,其特征在于,步骤(3‑2‑1)中中文语句中第m个字向量对应的中文语句特征向量hm由下式给出:其中, 表示正向LSTM的t时刻的隐藏层输出, 表示反向LSTM的t时刻的隐藏层输出,hm表示 和 的拼接结果,xm表示中文语句中第m个字向量;

步骤(3‑2‑3)中字词信息融合相关系数矩阵e中第i行第j列的元素,即单词‑字符交互图G中节点i和节点i间的字词信息融合相关系数e(hi,hj)是由下式给出:T

e(hi,hj)=aLeaky ReLU(Whi||Whj)其中Leaky ReLU是激活函数,a和W均为可学习的参数矩阵,i和j均∈[1,单词‑字符交互图G中的节点总数N]。

步骤(3‑2‑4)中图G中节点i和节点j间的注意力系数αij归一化采用soft max归一化函数的方法:

αij=soft max(e(hi,hj))。

7.根据权利要求6所述的基于图注意力网络的中文命名实体识别方法,其特征在于,步骤(3‑2‑5)中单词‑字符交互图G中第i个节点的特征向量ki是使用下式计算:其中N表示单词‑字符交互图G中节点的总数,w为可学习的参数矩阵, 表示逐元素乘法,kj表示单词‑字符交互图G中第j个节点的特征向量。

8.根据权利要求7所述的基于图注意力网络的中文命名实体识别方法,其特征在于,步骤(3‑3)具体包括以下子步骤:

(3‑3‑1)将步骤(3‑2)得到的中文命名实体识别数据集中每个中文语句对应的最终特征向量R采用CRF进行解码,以得到该中文语句对应的标注结果;

(3‑3‑2)针对步骤(3‑3‑1)得到的中文语句的各实体的标注结果Y,计算基于图注意力网络的中文命名实体识别模型的损失函数,迭代训练模型,得到训练好的基于图注意力网络的中文命名实体识别模型。

9.根据权利要求8所述的基于图注意力网络的中文命名实体识别方法,其特征在于,对于每个中文语句对应的最终特征向量R而言,其解码后得到中文语句的实体标注结果为Y={y1,y2,...,ym}、以及标注结果为ym的概率P(ym|sm),其中ym表示中文语句中的第m个字符的标注结果;

步骤(3‑3‑2)中模型的训练过程采用L2正则化最小化对数似然损失来优化模型,损失函数定义为:

其中,γ是L2的正则化参数,优选取值为0.5,θ是所有可训练集的参数。

10.一种基于图注意力网络的中文命名实体识别系统,其特征在于,包括:第一模块,用于获取待中文命名实体识别的中文语句。

第二模块,用于基于第一模块得到的中文语句构建中文语句对应的字向量集合X。

第三模块,用于将第二模块得到的中文语句对应的字向量集合X输入训练好的基于图注意力网络的中文命名实体识别模型中,以得到该中文语句对应的中文命名实体标注。