1.基于事件要素图的跨境民族文化事件检索方法,其特征在于:所述方法的具体步骤如下:
Step1、跨境民族文件事件数据集构建及数据预处理:通过收集网络资源构造跨境民族的相关数据,并对数据进行预处理,最终构建跨境民族文化事件检索数据集;
Step2、事件要素图构建:针对跨境民族文化事件检索存在的查询事件与检索结果相关性较低的问题,构建跨境民族文化事件要素图;
Step3、基于事件要素图的跨境民族文化事件检索模型训练:针对跨境民族文化事件检索结果与查询事件相关度较低的问题,使用图嵌入方法建立事件关联关系表征,并使用对比学习方法进行模型优化;
提出基于事件要素图的跨境民族文化事件检索模型,通过对输入的一批“查询-文档”使用查询文本编码器和候选文档编码器分别对其进行编码;基于对比学习,首先构建批内负采样,优化查询文本编码器和候选文档编码器,使其能够拉近查询和正例在语义空间中的距离,通过事件相关度,针对查询构建模型区分难度较高的负例,进一步优化查询文本编码器和候选文档编码器对文本的表示,得到经过两次强化的查询编码器和文档编码器,再将得到的含有事件要素图信息的编码表示和查询文本编码融合,送入一层神经网络中提取重要的文本特征,再将文档编码与融合提取后的文本特征计算相似度,得到查询和文档之间的相关度;最后按照相关度进行排序,得到跨境民族文化事件检索的结果;
Step4、基于事件要素图的跨境民族文化事件检索:将训练好的端到端事件要素图的跨境民族文化事件检索模型进行保存,封装并部署于服务器上,建立API以便其他应用程序与模型交互,进行数据预处理后进行推理,实现基于事件要素图的跨境民族文化事件的自动检索。
2.根据权利要求1所述的基于事件要素图的跨境民族文化事件检索方法,其特征在于:所述Step3的具体步骤为:Step3.1、通过使用双编码器架构作为跨境民族文化事件检索的编码器;首先,将一个候选跨境民族文化文档doc输入到候选文档编码器Edoc中,得到一个d维向量表示,再为文档编码表示建立索引,以供检索;当进行查询时,使用查询文本编码器Equery将查询文本q表示为一个d维的向量,然后根据语义空间中与查询文本编码距离的远近来从文档集合中检索前k个文档;其中,衡量语义空间中距离远近的函数公式如下:disq,doc=Equery(q)·Edoc(doc)
使用两个独立的BERT作为编码器,并将[CLS]标记处的表示作为文本编码的输出;
Step3.2、利用事件相关度计算方法,通过负采样方法构建正负例,对模型进行优化;
Step3.3、针对获取到的负采样,通过对比学习方法,对双编码器进行二次优化,则训练目标定义为使“查询-正样本文档”之间的相似度高于“查询-负样本文档”;
Step3.4、经过两次对比负采样对双编码器的优化,编码器已经能够较好的对跨境民族文化事件文本进行一个更好地表示,最后选取标记[CLS]作为查询和文档的向量表示;
Step3.5、通过跨境民族文化事件要素图嵌入模块,对分词后的查询文本,根据其中的包含的词汇,从事件要素图库中查找相关的事件要素图,当且仅当一半以上的分词后的词汇均为某个事件要素图中的节点时,认为该图为与查询文本相关的事件要素图;将该图送入训练好的图编码器中,得到包含较多事件信息的事件要素图表征XGraph;将其组成一个包含a个图的跨境民族文化事件要素图库G={g1,g2,...,ga};对于图库中的每一个事件要素图gi,将其切分成两个子图和基于图神经网络,使用对比学习方法,通过对来自同一母图的子图之间作为正样本,来自不同母图的子图之间作为负样本训练事件要素图编码器;
Step3.6、将查询文本和候选文档经过训练好的查询文本编码器和候选文档编码器后,得到查询文本的向量表示XQuery和候选文档的向量表示XDoc;将查询文本的向量表示XQuery与事件要素图特征XGraph相拼接,然后将其送入一个前馈神经网络中,经过一系列前向传播,得到融合后的查询文本编码表示XG+Q;
Step3.7、将融合后的查询文本编码表示XG+Q与候选文档的向量表示XDoc进行相似度计算sim(),得到查询和文档的相关性,如公如下:XG+Q=sim(XG+Q,XDoc)
最后按照相关性进行排序,取排名最高的前5个文档作为跨境民族文化事件检索的结果。
3.根据权利要求1所述的基于事件要素图的跨境民族文化事件检索方法,其特征在于:所述Step1的具体步骤为:Step1.1、获取跨境民族的相关数据,利用跨境民族文化领域词典对文档进行分词、去除无意义的停用词;通过数据预处理将文本按照文档序列切分为一个个句子,最后将切分出的句子用于跨境民族文化事件检索数据集构建,切分出的文档用于跨境民族文化事件检索数据标注,对文档进行编号,最终得到若干余篇待标注文档;
Step1.2、人工从这些文档中提炼出简短的事件描述作为跨境民族文化事件检索任务的查询,然后对这些查询按照与文档一一对应的方式进行编号,完成跨境民族文化事件检索数据集的标注;在完成跨境民族文化事件检索数据集的标注后,最终得到跨境民族文化事件检索抽取数据集。
4.根据权利要求1所述的基于事件要素图的跨境民族文化事件检索方法,其特征在于:所述Step2的具体步骤为:Step2.1、通过构建跨境民族文化事件要素图,将文档和事件相关信息关联起来,通过图嵌入方法将事件要素图与查询文本融合,增加查询文本中的事件知识;首先使用跨境民族文化事件抽取方法,抽取出跨境民族文化相关的事件信息,公式如下:{event1,event2,...,eventm}=event(doc)
event={t,(e1,r1),...,(en,rn)}
其中,event表示事件,doc表示待抽取的文档,m表示从文档中抽取出的事件数;t表示触发词,e和r表示事件要素及其角色,n指事件要素的个数;
Step2.2、在抽取出跨境民族文化相关的事件信息的基础上,以文档、文档的发布时间、事件触发词以及事件要素为节点,以事件要素的角色以及文档之间的事件相关度为边,构建跨境民族文化事件要素图;在该图中,共存在四种类型的边“文档-文档”、“文档-事件触发词”、“文档-发布时间”以及“事件触发词-事件要素”;其中,同属于一个事件之间的事件触发词与事件要素之间以事件角色为关系,构建“事件触发词-事件要素”边,同属于一个文档的事件与文档之间以包含关系,构建“文档-事件触发词”边,发布时间与文档之间以日期为关系,构建“文档-发布时间”边;文档与文档之间,通过计算其事件相关度并以其为依据以时序为关系,构建“文档-文档”边;通过图嵌入方法将事件要素图与查询文本融合,增加查询文本中的事件知识,构建的跨境民族文化事件要素图。
5.根据权利要求1所述的基于事件要素图的跨境民族文化事件检索方法,其特征在于:所述Step4的具体步骤为:Step4.1、将跨境民族文化事件检索模型保存为“.pth”文件,通过基于Web应用Flask框架将模型加载于内存中,避免请求结果带来频繁的模型加载过程,提高识别模型的运行速率;
Step4.2、基于Flask框架进行后端开发将跨境民族文化事件检索模型的检索过程封装为可调用的API接口并部署,进而实现Web端口多并发请求的功能;
Step4.3、在Web端通调用部署到服务器端的跨境民族文化事件检索模型,进而提升检索的效果。
6.基于事件要素图的跨境民族文化事件检索装置,其特征在于,包括用于执行如权利要求1-5任一权利要求所述的方法的模块。