1.一种基于反事实与路径挖掘的事件溯因推理方法,其特征在于,包括如下步骤:S1、输入观察事件文本与假设事件文本,并给定假设事件H;
S2、利用RoBERTa预训练语言模型对观察事件文本和假设事件文本进行编码,获得浅层事件特征;
S3、利用自注意力机制获得观察事件文本和假设事件文本的注意力得分,并作为观察事件、假设事件之间的因果效应矩阵A*;
S4、根据因果效应矩阵A*,利用图神经网络对步骤S2中的浅层事件特征进行编码,获得事件表示;
S5、利用注意力机制将假设事件表示和观察事件表示形成中间隐状态Z,指导RoBERTaatt预训练语言模型对观测事件进一步编码,抽取影响因果效应的关键特征h ,具体步骤如下:S501、V表示步骤S4中获得的事件表示,针对背景事件O1得到对应的注意力得分的公式如下:其中,σ表示softmax操作; 为背景事件O1对应的注意力得分;Wa为注意力网络系数;
结果事件O2和假设事件H1对应的注意力得分同样通过上述公式计算得到,通过对应的注意力得分ai将各个事件表示Vi融合以得到中间隐状态Z,具体计算公式为:其中, 为结果事件O2对应的注意力得分; 为假设事件H1对应的注意力得分;i∈[O1,H1,O2]表示融入了事件O1、O2和假设事件H1的信息;
(low)
S502、利用正向注意力机制从中间隐状态z出发,观察给定事件的浅层事件特征h ,(low)抽取相关性的因果效应特征,记为 利用反向注意力机制,对h 取反,进行注意力操作,记为S503、将正向注意力机制的相关内容 与反向注意力机制的不相关内容 相加,att
得到影响因果效应的关键特征h :
S6、利用余弦相似度将观察事件和假设事件投影到外部事件逻辑图上,并利用强化学习算法获得类似观察事件与类似假设事件之间的逻辑链路径集,具体步骤为:S601、将外部事件图定义为G,一个事件定义为图上结点N,事件间的因果关系定义为边R;
ext
S602、外部事件图的因果效应矩阵记为A ,其中aij=1表示事件i导致事件j,aij=0表示事件i不会导致事件j;
S603、利用余弦相似度将观察事件和假设事件投影到外部事件逻辑图,具体公式为:其中,NAnchor表示相似度值最高的外部事件图上结点,即给定事件的投影;
S604、背景事件O1、结果事件O2、假设事件H分别对应为{Nsource,Nintermediate,Ntarget},表示为S605、采用单智能体强化学习进行路径搜索,强化学习的整体环境由动作空间Action、状态State、策略网络Policy Network和奖励函数Reward四部分组成,结合DeepPath方法和NLI预测问题对状态State、策略网络Policy Network和奖励函数Reward进行改动,具体内容如下:利用策略网络,智能体Nsource在每一个时间步内从动作空间Action中找到一个关系作为路径,通过选择关系到达下一个结点Ncurrent,该结点具有一个新状态,在时间步t的新状态向量定义为:statet=(z,esource,ecurrent,etarget‑ecurrent)其中,esource为Nsource结点的表示,etarget为Ntarget结点的表示,ecurrent为时间步t时刻选择关系关联到的结点表示,etarget‑ecurrent衡量当前选择结点与目标结点之间的差距;
将新状态statet输入到LSTM中获得t时刻的隐藏状态 通过全连接层将 映射到action
动作空间中,得到与动作空间维度相同的概率向量Pt 并选择关系;具体公式如下:其中,Waction,baction均为全连接层的网络参数, 为LSTM在t时刻的短时记忆, 为LSTM在t时刻的长时记忆; 表示LSTM在t‑1时刻的短时记忆和长时记忆;
若选择到重复的关系或选择到目标结点或路径到达预设的最长长度限制,智能体停止行动,对本回合的探索过程总结合计奖励;反之,则一直探索,直到达到最长限制;
通过寻求路径准确性rAccuarcy、路径多样性rDiversity、路径效率rEffiency和因果预测准确性rpredict优化网络进行合理选择,具体内容为:其中,len(Path)表示探索所得路径的长度,cos(Pathi,Pathj)用于计算所获路径集F中每两条探索路径之间的相似度;
S606、将Nsource、Ntarget分成经过Nintermediate与未经过Nintermediate两类,在Nsource、Nintermediate之间和Nintermediate、Ntarget之间分别采用强化学习进行路径探索,具体公式为:其中,si表示在Nsource、Nintermediate之间,it表示在Nintermediate、Ntarget之间;
S607、利用Python自带工具包Itertools中的product函数,对两个路径列表中的路径进行两两组合形成以Nintermediate为中继节点的路径,所有的所得路径集,则为基于外部事件图的观察事件与假设事件之间的逻辑链路径集P;
S7、通过深度神经网络迭代计算逻辑间的概率转移及更新前序事件链表示,获得所有事件链表示S,具体计算步骤如下:S701、针对逻辑链路径j有lj个事件,表示为 通过RoBERTa预训练语言模型对事件嵌入表示为:
j j
S702、对前序事件建模,记为s,计算前序事件s影响后续事件 向 的转移概率,在第0时刻,将事件链路径的第一个事件表示作为初始化前序事件表示S703、利用第k‑1个事件与第k个事件对应事件本身的表示 与前序事件表示结合,获得前后步事件的S703上下文表示
其中,Wc、We、bc、be为网络参数,tanh(*)为双曲正切激活函数,||表示为拼接操作;
S704、根据 利用全连接网络计算两事件之间的转移概率分布,通过公式化表示为 并简化为 具体公式如下:
其中,Wcs为全连接网络层的参数,σ为sigmoid激活函数, 表示第j条逻辑链中的第k‑1个事件向第k个事件转移的概率分布, 表示在逻辑链j选择第k个事件的概率分布;
S705、将当前事件内容融入到当前前序事件表示 中,具体公式为:其中,Wu为网络参数;
S706、对第j条事件逻辑链中的事件迭代计算,直至计算完事件逻辑链中的最后一个事件转移,得到前序事件表示 具体公式为:j
其中,cs表示第j条事件逻辑链可能发生的概率;对每一前后步事件间概率累乘作为该事件链可能发生的概率;
j
将第j条事件逻辑链可能发生的概率cs 与该事件逻辑链的表示相乘得到事件逻辑链上下文表示 具体公式为:所有事件逻辑链的上下文表示集合记为S;
S707、对事件逻辑链路径集P中的每一条逻辑链路径进行步骤S701至S706的操作;
S8、通过对给定假设表示VH与所有事件链表示S进行注意力机制,获得基于外部事件逻path辑图的上下文向量q ;
att path
S9、将关键特征h 与上下文向量q 相拼接,计算针对假设事件H的合理值得分;
S10、迭代选择假设事件H,且每次仅带入一个,选择合理值得分最高的假设作为最有可能发生的合理假设;
S11、通过预测损失函数、逻辑链推理损失函数、反事实敏感性损失函数和三元组损失函数四部分联合优化事件溯因推理方法。
2.根据权利要求1所述的基于反事实与路径挖掘的事件溯因推理方法,其特征在于,步骤S1中,观察事件包括背景事件O1和结果事件O2,假设事件包括假设事件H1和假设事件H2,每次仅给出一个假设事件进行操作。
3.根据权利要求1所述的基于反事实与路径挖掘的事件溯因推理方法,其特征在于,步骤S2中,通过Huggingface网站一键式构建RoBERTa预训练语言模型,在事件文本中添加[CLS]作为第一个标记,在RoBERTa预训练语言模型中对假设事件和观察事件的文本编码后,将[CLS]的表示向量作为该假设事件和观察事件的浅层特征表示。
4.根据权利要求1所述的基于反事实与路径挖掘的事件溯因推理方法,其特征在于,步骤S4中,获得事件表示的具体内容为:将每一个事件的[CLS]表示和因果效应矩阵A*输入到图卷积神经网络中进行编码,获得事件表示
5.根据权利要求1所述的基于反事实与路径挖掘的事件溯因推理方法,其特征在于,步骤S8中,利用注意力机制从给出假设的角度观察事件逻辑链,将第j条事件逻辑链得到的注意力得分aj与对应事件逻辑链上下文表示 相乘累加,得到基于外部事件逻辑图的上下path文信息q ,具体公式为:
其中,VH为给出假设事件的表示,Wa为网络参数,σ为sigmoid激活函数,∝表示softmax操作。
6.根据权利要求1所述的基于反事实与路径挖掘的事件溯因推理方法,其特征在于,步path att骤S9中,计算假设事件H的合理值得分的具体内容为:将上下文向量q 与关键特征h 利用门控机制进行融合,得到基于路径和文本的综合上下文向量datt,并利用非线性变化计算对应于假设的合理值得分YH,具体公式为:其中,λ为门控机制的网络超参数,Wy,by是非线性变化的参数。
7.根据权利要求1所述的基于反事实与路径挖掘的事件溯因推理方法,其特征在于,步骤S11中,利用损失函数优化方法的具体步骤如下:S111、通过预测损失函数Lpredict判断假设的合理值分数y,具体公式为:其中,y为计算所得的合理值分数,为数据集中的标准合理值;
S112、利用事件逻辑链推理损失函数Lpath,针对事件链编码模块,以数据集给出的事件转移概率为标准通过推理模型进行拟合,具体公式为:其中,lj表示第j条事件逻辑链所包含的总事件数,J表示事件逻辑链总数目, 表示标准概率分布;
S113、基于反事实敏感性思想,通过敏感性损失函数Lsensitivity和三元组损失函数Ltriple‑loss,随着假设的替换,观察变化与不变化的因素,进一步解析效应事件的影响因子,具体公式为:其中,f(*)表示编码模型Transformer参数; 指两个向量之间的L2距离损失,即向量间对应位元素差的平方和;α为偏差超参数,是一个常数;Y为模型给出的合理值得分,其中H1为合理假设,H2为不合理假设, 表示为合理假设的近似描述。