欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 201911424470X
申请人: 中国地质大学(武汉)
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于依赖解析和关键词的图卷积网络的关系抽取方法,其特征在于,包括以下步骤:S1、利用Stanford NLP工具对非结构化文本进行句子依赖解析,生成句子的依赖解析图;将所述依赖解析图中连接最多依赖边的词作为句子中的关键词,并通过所述关键词对句子进行修剪;

S2、利用word2vec对非结构化文本中的句子进行处理,得到句子的词嵌入向量和位置嵌入向量,并将所述词嵌入向量和位置嵌入向量进行拼接,得到词向量序列s={x1,x2,…,xm},m表示句子中词的数量;

S3、采用双向GRU神经网络处理词向量序列s={x1,x2,…,xm},得到输出向量矩阵H={h1,h2,…,hm},其中,hi=[GRUf(hi-1,xi);GRUb(hi+1,xi)],i=1,2,…,m,f、b分别表示词向量序列的正向遍历和反向遍历;

S4、采用图卷积网络处理所述输出向量矩阵H={h1,h2,…,hm},得到句子的依赖表示H′={h′1,h′2,…,h′m};

S5、将双向GRU的输出向量矩阵H与句子的依赖表示H′通过多头注意力机制进行结合得到句子的表示向量B;

S6、采用softmax函数建立关系以及实体类型的预测模型,将所述句子的表示向量B作为预测模型的输入,由此训练得到预测概率最大的关系作为抽取结果。

2.根据权利要求1所述的基于依赖解析和关键词的图卷积网络的关系抽取方法,其特征在于,所述步骤S1中,采用Stanford NLP工具对非结构化文本进行句子依赖解析时,还利用FIGER定义句子中的实体类型,解析完成后每个实体都具有确定的唯一类型。

3.根据权利要求1所述的基于依赖解析和关键词的图卷积网络的关系抽取方法,其特征在于,所述步骤S1中,进行依赖解析后的每个句子构成一个有向依赖解析图G=(V,E),其中,V、E分别表示节点和依赖边的集合,一条从节点u到节点v的依赖边表示成Luv,所述依赖边Luv包括正向、反向、自环三种类型。

4.根据权利要求1所述的基于依赖解析和关键词的图卷积网络的关系抽取方法,其特征在于,所述步骤S1中,将生成的依赖解析图通过PageRank算法得到句子中每个词的PageRank值,将PageRank值超过设定阈值的所有词作为关键词,仅保留与所述关键词有依赖边的词和边,完成对句子的修剪。

5.根据权利要求1所述的基于依赖解析和关键词的图卷积网络的关系抽取方法,其特征在于,所述步骤S2中,所述词嵌入向量是指采用word2vec将输入词转化为一个低维的稠密实数向量,每一个字符对应一个词嵌入向量;

所述位置嵌入向量是指将一个词对于头实体和尾实体的两个相对位置信息放在同一个向量中,作为这个词的位置嵌入,所述相对位置表示字符与目标实体的距离。

6.根据权利要求1所述的基于依赖解析和关键词的图卷积网络的关系抽取方法,其特征在于,所述步骤S4中,所述图卷积网络的隐藏层的计算公式为:式中, 表示第k+1层图卷积后的输出向量,ReLu表示激活函数,N(i)表示节点i的所有邻接节点,Liu表示节点i与节点u的依赖边的标识符号; 表示图中依赖边的权重,D表示图中节点的度, 表示 的对称归一化, 表示图卷积神经网络学习到的权重矩阵。

7.根据权利要求1所述的基于依赖解析和关键词的图卷积网络的关系抽取方法,其特征在于,所述步骤S5中,将句子的依赖表示H′作为所述多头注意力机制的quiries输入,将双向GRU的输出向量矩阵H作为所述多头注意力机制的keys和values输入,即:B=Multi_Head_Attention(quries=H′,keys=H,values=H)。

8.根据权利要求1或2所述的基于依赖解析和关键词的图卷积网络的关系抽取方法,其特征在于,所述步骤S6的具体过程为:

将句子的向量表示B和步骤S1中定义的实体类型进行拼接,得到B′=[B;type],其中,type表示实体类型,建立实体类型的损失函数:losstype=||B-type||;

然后通过softmax函数得到关系预测概率P:

P((Bn;rn)|θ)=softmax(WB′+b),式中,W和b表示待学习的参数,Bn为数据集中第n个句子,n=1,…,N,N表示数据集中所有句子的个数;rn表示句子对应的关系标签,θ表示模型中的所有参数;利用交叉熵定义关系预测概率P的损失函数:由此,得到预测模型的目标函数为:

式中,λ表示超参数,训练所述预测模型,取概率最大的关系作为抽取结果。