欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2019108801640
申请人: 江南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2023-10-10
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于改进深度残差网络和注意力机制的实体关系抽取方法,其特征在于:包括如下步骤:步骤S1:数据集处理:

通过对远程监督实体关系数据集的处理,将英文转换为词向量;

步骤S2:自注意力机制:

通过每个包中句子实体对的自注意力机制的输出来获取每句句子中隐藏的关系词,并计算余弦相似度从而提取句子的关系词权重;

步骤S3:分段门控残差网络:

在原有深度残差网络的基础上改进去残差单元,分别引入分段和门控机制,形成分段的具有门模块的残差网络,采用分段门控残差网络对特征通道进行分段;

步骤S4:双池化层:

在残差网络的后段最大池化层的基础上拼接平均池化层形成双池化层,用于保留句子结构特征;

步骤S5:将步骤S2得到的关系词权重与步骤S4得到的句子结构特征进行相乘,得到模型最终的句子特征;

步骤S6:模型预测与输出:

将步骤S5得到的句子特征通过点积融合成传入Softmax层进行关系分类,最终得到结果输出实体关系;

所述步骤S3具体为:

S3‑1:分段门控残差模块通过实体对特征通道进行分段,第z个通道的公式为:其中,uc为来自上层网络通过卷积后的特征通道,在空间维度H上,通过压缩u来产生输出属于uc的统计量zc;

S3‑2:将通道通过每句句子中实体的位置进行分段,形成3段特征通道:zc‑→(e1,e2)‑→(z1,z2,z3)其中,e1,e2为两个实体;

S3‑3:当特征通道压缩之后,分段门控残差模块采用门控机制,使用Sigmoid激活函数对zc产生权重,其中W1,W2为两个权重矩阵,如下式所示:s=σ(W2δ(W1z))

S3‑4:分段门控残差模块的最终输出是将权重sc与上层卷积后的特征通道(z1,z2,z3)相乘后得到的,具体如下式所示:xc=Fs((z1,z2,z3),(s1,s2,s3))=sc·zc。

2.根据权利要求1所述的基于改进深度残差网络和注意力机制的实体关系抽取方法,其特征在于:所述步骤S1中每个词的向量表示由两部分组成:词向量Vw和位置向量Vp,定义为V,词向量的具体表示方法如下:V=Vw+Vp

Si={V1,V2,…,Vn}

其中Vw为带有语义关联的词向量,Vp为带有位置信息的词向量,V为拼接后的词向量,Si是句子组成的集合。

3.根据权利要求1所述的基于改进深度残差网络和注意力机制的实体关系抽取方法,其特征在于:所述步骤S2的具体步骤如下:S2‑1:利用自注意力机制提取句子中实体的自注意力权重,其公式如下:其中,Q为索引词,K为当前词,W为权重矩阵,用以训练Q,K的相似度权重;ai为索引Q和当前词K的softmax输出,将前一步的输出映射到和为1的概率空间;

S2‑2:通过余弦相似度进行排序,方程为:其中,xi和yi分别代表两个词的词向量,wn为两个词向量的余弦相似度;

S2‑3:选出和其他关系词相似度最高的词语,公式为:Rw=max(w1,w2,…,wn)

S2‑4:将包关系词与本句句子的关系词进行余弦相似度计算得出最终关系词权重。

4.根据权利要求1所述的基于改进深度残差网络和注意力机制的实体关系抽取方法,其特征在于:所述步骤S4具体为:S4‑1:在分段门控残差模块的特征输出之后使用双池化层对特征进行拼接,具体公式如下:hm=max ai,for i=1,…,K其中,hm是最大池化层的输出,ai是各特征值,最大池化层可以抓住邻域内的重要特征;

hv是平均池化层的输出,ai是各特征值,Nm是邻域内特征数量;

S4‑2:将两种池化层的特征进行拼接,达到保留句子结构特征的目的:S4‑3:将注意力机制得出的权重Rw与分段门控残差模块的句子特征Sen进行相乘,得到模型最终的句子表示如下:Repi=Seni·Rwi

S4‑4:在得到每句句子Repi的向量表示后,使用三层的全连接来输出置信度矢量Oi,那么第j个关系的条件概率即如下式所示: