1.一种基于知识图和BART语义的多文档摘要方法,其特征在于,包括以下步骤:S1,构建多文档摘要训练数据集;
S2,构建面向多文档摘要的知识图;
S3,构建融合知识和图注意力的多文档摘要模型;
S4,训练多文档摘要模型并生成摘要。
2.根据权利要求1所述的一种基于知识图和BART语义的多文档摘要方法,其特征在于,所述S1中构建多文档摘要训练数据集,具体步骤为:S101,下载开源多文档摘要数据;
S102,对开源多文档摘要数据进行预处理和清洗,得到文档D={X1,X2,...,XM},其中M为多文档的数目,将所需的多文档根据指定最大文档开头限制进行切割,将Xi切分为起始i i文档x 和内容文档L两部分,其中 代表文档起始部分,是文档的概要内i i
容; 代表文档的详细内容,为后续摘取重要主干信息所用,x 和L 作为后续文本编码和图编码的输入。
3.根据权利要求2所述的一种基于知识图和BART语义的多文档摘要方法,其特征在于,所述S2中构建面向多文档摘要的知识图,具体步骤为:i
S201,对内容文档构建实体关系图:首先利用OPENIE对内容文档L进行共指引用,其次i从内容文档L 中提取句子级别开放信息三元组,每个OPENIE提取的三元组由主语部分[ARGO]、谓语部分[V]和宾语部分[ARG1]组成,将提取的三元组实体根据相似度进行连接,g g g构建一个以主语和宾语作为节点,谓语作为节点关系的实体关系图G=(V ,E),其中,V 为G图的节点集合 E为图中节点间的边集合 m为三元组数量;
S202,构建面向多文档摘要的知识图:知识库Concept Net中的三元组数据形式为Ti={ti=(vi,ri,ci,si)},其中vi表示头概念、ri表示关系、ci表示尾部概念、si表示置信度得分,根据实体关系图G中节点 查找知识库中实体vi,将知识库实体vi所属候选元组Ti添加到图中,构建新的知识图 其中 为知识图节点集合 为节点边的集合 n为添加匹配的知识库实体数量。
4.根据权利要求3所述的一种基于知识图和BART语义的多文档摘要方法,其特征在于,所述S3中构建融合知识和图注意力的多文档摘要模型,具体步骤为:S301,对融合知识图网络进行知识表示:首先对知识图KG进行初始化编码 获得节点特征向量 其次利用图注意力网络对图节点表示学习;最后对知识图节点中的主语节点、宾语节点和谓语表示进行更新,根据输入节点的特征,使用自注意力机制得到节点i对节点j的影响力系数,知识图的表示 如式(2)、(3)所示:n
其中,a 代表第n个多头自注意力的计算得分, 为可训练权重, 为节点i,j之间的注意力权重,qi表示知识图中待更新的节点,kj、kz表示与qi相关联的邻居节点,Ai表示与节点i有关联的邻居节点集合;
为了避免多次迭代后梯度消失,还添加一个残差连接vi,得到最终输出 如式(4)所示:其中,Ai表示与节点i有关联的邻居节点, 表示随机初始化权重,||表示H个多头注意力的连接, 节点为结合多头注意力机制的最终输出特征;
S302,获取知识图与文本的BART语义信息:根据S202的知识图KG,以及S102的起始文档ix,首先将知识图转换为线性文本的形式,先将知识图KG分解成多个连通子图KGi,按照子图的大小遍历子图,在每个子图中,连通子图KGi按照包含节点 p为节点的数量,对其进行降序排列,从包含节点数最多的节点开始,以宽度优先搜索的方法向下移动子图,将遍历的结果线性化为字符串列表,返回线性化的图文本i i
其次对起始文档x 、线性图文本g分别编码输入BART语义编码器,其中BART Encoder处i i理文档x ,Linear Graph Encoder处理线性图文本g ,起始文档的编码 和线性图的编码如式(5)(6)所示:i i i i
其中, 为x和g初始向量嵌入, 为x 和g位置嵌入;
i
对 和 分别进行基于Transform的多头自注意力计算,并更新起始文档x 和线型文本ig的表示,如式(7)所示:
其中,和 为起始文档和线型文本经过注意力交互后得到的语义表示;
S303,通过将知识图与文档文本的上下文化得到具有注意力机制的向量进行连接融合:通过S301得到知识图的节点注意力 以及S302得到的对于线性图的编码层 再与起始i文档表示x拼接,获取多文档的最终语义表示,具体实现如式(8)、(9)、(10)所示:其中,LayerNorm是进行注意力融合与标准化的方法,MHAtt是多头注意力方法,FFN是一个以ReLU作为隐藏激活函数的前馈网络, 是融合的结果,H是 与 拼接的结果。
5.根据权利要求4所述的一种基于知识图和BART语义的多文档摘要方法,其特征在于,所述S301中利用图注意力网络对图节点表示学习,具体为:使用一个单词嵌入层 和一个位置嵌入层 将每个顶点 转换为特征向量,则节点vi的向量表示如式(1)所示:
vi=Ew(vi)+Ep(vi) (1)。
6.根据权利要求1所述的一种基于知识图和BART语义的多文档摘要方法,其特征在于,所述S4中训练多文档摘要模型并生成摘要,具体步骤为:S401,构建交叉熵损失函数,并对摘要模型进行训练:利用BART Decoder最小化训练过程中的交叉熵损失:其中,t<l是l时间步之前的BART输出,D为来自输入文档的真实标签,为第l的时间步生成的BART输出;
S402,生成摘要:将一个新的多文档数据组成输入样本,送入利用S401训练完成的摘要生成模型,最后生成多文档的摘要。