1.基于知识表示增强的低资源跨语言文本检索方法,其特征在于,包括:步骤1、对中文查询‑低资源语言候选文档及外部知识数据进行预处理:构建中文查询与越南语、泰语、缅甸语候选文档的跨语言检索数据集并进行预处理,并利用多语言知识图谱对查询中的实体进行外部知识扩展;
步骤2、基于表示对齐增强和外部知识融合的低资源跨语言文本检索模型构建:构建了包含知识互注意力特征融合模块和知识监督对比学习模块的低资源跨语言文本检索模型;
步骤3、基于表示对齐增强和外部知识融合的低资源跨语言文本检索模型训练:设置输入的中文查询、低资源语言候选文档和外部知识信息,通过对知识监督对比学习和知识互注意力模块的联合训练,计算深度学习网络的损失值,来优化模型可学习参数和权重;
步骤4、对中文‑低资源跨语言文本进行检索:通过训练好的低资源跨语言文本检索模型,输入中文查询‑低资源语言候选文档并计算匹配分数,通过匹配分数对候选文档进行排序,从而获得最终的检索结果;
所述步骤2的具体步骤为:
步骤2.1、首先需要对模型输入的中文查询、低资源语言候选文档以及外部知识进行特征编码,包含两个编码器:查询文档编码器Encqd和知识编码器Enck;所使用的编码器都是基于预训练语言模型mBERT‑base;
步骤2.2、构建知识互注意力特征融合模块,该模块充分挖掘外部知识和低资源语言的特征,并与查询文档特征进行融合;在知识互注意力特征融合模块中包含两个部分:知识互注意力模块和知识聚合器;
步骤2.3、构建知识监督对比学习模块,在跨语言文本检索CLTR任务中使用了监督对比学习;与传统的对比方法不同,针对每个查询设置了多个正例和负例样本,并构建了两种监督对比目标:文档监督对比学习DSCL和知识监督对比学习KSCL;
所述步骤2.2的具体步骤为:
步骤2.2.1、知识互注意力模块包含知识互注意力机制和语言融合机制,该模块能让模型学习源语言和目标语言的混合语言知识信息;在知识互注意力机制中将同种语言的实体知识信息 和相关实体知识信息 聚合在一起作为知识互注意力的输入 ,其中c∈{s,t},s表示源语言,t表示目标语言;在语言融合机制中计算得到知识互注意力模块的最终特征表示 ;
在知识互注意力机制中,采用多头注意力机制以更好地学习潜在的语义信息:为了使模型学习到混合语言信息,把源语言和目标语言特征向量矩阵 、 经过线性变换得到的、 分别作为Q或者K、V输入到多头注意力中,将自注意力转换为知识互注意力,其中Q、K、V为多头注意力输入的特征向量矩阵;
步骤2.2.2、利用知识聚合器是将知识互注意力模块的最终特征表示 与查询q和文档d的特征向量表示 融合,知识聚合器是由一个线性变换层组成,其中,使用Tanh作为激活函数,生成最终的统一表示。
2.根据权利要求1所述的基于知识表示增强的低资源跨语言文本检索方法,其特征在于:所述步骤1的具体步骤为:步骤1.1、构建模型训练的数据集,对公开数据集CLTRMatrix进行预处理,筛选字符长度大于200的候选文档,分别得到中文‑越南语、中文‑泰语、中文‑缅甸语的训练集、验证集和测试集;
步骤1.2、构建外部知识库,对标注样本查询扩展外部知识信息,其中包括查询实体的源语言和目标语言的相关实体、别名、实体描述信息;首先通过多语言实体链接模型mGENRE来标注中文查询中相关实体对应的维基百科查询ID,即QID, 然后利用维基百科多语言知识图谱API 通过QID查询该实体源语言和目标语言的别名、相关实体、实体描述信息,最终得到多语言的外部知识库。
3.根据权利要求1所述的基于知识表示增强的低资源跨语言文本检索方法,其特征在于:所述步骤2.1的具体步骤为:步骤2.1.1、利用特殊标记符[CLS]和[SEP]将查询和文档拼接成一个句子序列,其中在每个句子序列前加上[CLS]特殊标记符,并使用[SEP]作为查询和文档分隔的特殊标记符,然后通过查询文档编码器计算得到查询q‑文档d的语义特征向量表示 :;
其中Encqd(·)是查询文档编码器,{·,·}表示将两个输入序列拼接起来;
步骤2.1.2、利用知识编码器是对查询实体的源语言和目标语言相关实体、别名、实体描述信息进行编码,得到知识特征向量;知识编码器编码时也使用了特殊标记符[CLS]和[SEP],将每个实体/别名前加上[CLS]特殊标记符,并使用[SEP]作为实体/别名和对应的实体描述信息分隔的特殊标记符,通过知识编码器获得实体外部知识的特征向量表示:;
其中Enck(·)是知识编码器;c∈{s,t},s表示源语言,t表示目标语言; 为查询实体和其别名 的信息; 为实体描述信息; 和 分别是查询实体的相关实体和对应的实体描述信息; 和 分别是实体及别名和相关实体的知识嵌入信息,他们将作为知识互注意力特征融合模块的输入;在模型训练前保存了所有实体相关的知识嵌入。
4.根据权利要求1所述的基于知识表示增强的低资源跨语言文本检索方法,其特征在于:所述步骤2.2.1中包括如下:步骤2.2.1.1、知识互注意力特征融合模块的训练,首先需要对实体知识信息 和相关实体知识信息 聚合在一起作为知识互注意力的输入 ,其中dim表示维度的大小,R表示实数域:
;
其中 操作符是将行向量堆叠成一个矩阵的操作;n为实体描述信息的个数; 包含了源语言或者目标语言的所有实体和实体描述信息;
所使用到的注意力表示为: ;
其中 ()为一个激活函数, 为注意力机制,多头注意力 表
示为:
;
其中 为线性变换层的参数矩阵;i2表示第i2个头;p为头的数量; 表示第i2个头的注意力矩阵; 为第p个头的注意力矩阵;LayerNorm()表示归一化操作;使用[·]表示向量的拼接操作;
步骤2.2.1.2、将自注意力转换为知识互注意力,具体公式为:;
其中 和 表示源语言和目标语言的知识互注意力, 、 分别
为源语言和目标语言特征向量矩阵 、 经过线性变换得到的结果, 和分别为源语言和目标语言的外部知识特征表示;然后,使用一个由线性变换层组成的语言融合器来计算知识互注意力模块的最终特征表示 :;
其中 是一个参数矩阵; 是一个dim维向量;Tanh是一个常用的激活函数。
5.根据权利要求1所述的基于知识表示增强的低资源跨语言文本检索方法,其特征在于:所述步骤2.2.2的具体步骤包括:步骤2.2.2.1、通过知识聚合器对外部知识特征和查询‑文档特征进行融合,生成的最终统一表示为:;
其中 和 为参数; 为最终的外部知识统一特征表示。
6.根据权利要求1所述的基于知识表示增强的低资源跨语言文本检索方法,其特征在于:所述步骤2.3的具体步骤为:步骤2.3.1、文档监督对比学习的对比目标是目标语言候选文档,对于每个查询i,将其候选文档按照相似度进行排序,选取前T个最相关的候选文档作为DSCL的正例样本,同时随机选择T个相似度为0的候选文档作为负例样本;当正负例样本数量不足T个时,采取随机复制的方式进行补充,每个查询i的对比样本数量为I ≡ {1...2T};由于GPU硬件的限制,将T设为4,对应的对比标签为{1,1,1,1,0,0,0,0};
步骤2.3.2、知识监督对比学习的对比数据包括源语言查询、目标语言候选文档以及双语外部知识;与文档监督对比学习DSCL类似,知识监督对比学习KSCL中也分别设置了4个正负例样本;具体来说,将查询i的实体和双语别名作为一个正例,相关双语实体作为一个正例,选取查询i最相关的两个候选文档作为两个正例;同时,随机选择一个查询作为负例查询,并使用构建正例样本相同的方式生成4个负例样本;查询i的KSCL对比标签和DSCL一致。
7.根据权利要求1所述的基于知识表示增强的低资源跨语言文本检索方法,其特征在于:所述步骤3的具体步骤为:步骤3.1、文档监督对比学习的训练是对低资源语言候选文档进行的监督对比学习,其训练损失如下所示:;
其中 表示DSCL查询i的正负例样本集合,j表示锚实例,是与查询i相关度最高的文档;Pd(i)≡{p∈Ad(i)}表示查询i文档对比的正样本集合;|Pd(i)|表示查询i正例样本的数量; ,∈{ , , , , }, 是查询文档编码器;符号·表示内积,τ∈R+是一个控制样本之间距离的温度系数;
步骤3.2、知识监督对比学习是对查询文档和外部知识进行的监督对比学习,其训练损失如下所示:;
其中Ak(i)和Pk(i)分别表示KSCL中查询i的正负例样本集合和正例样本集合;
步骤3.3、得到模型训练的总损失Loss,具体的:将 和 拼接输入查询‑文档匹配模块中,计算对应查询‑文档的相关度分数:;
其中 表示查询‑文档之间的相关度分数, 和 为参数,softmax()为一个激活函数; 为查询q‑文档d的语义特征向量表示, 为最终的外部知识统一特征表示;
通过得到的相关度分数,使用了标准成对Hinge损失来对模型进行训练,如下所示:;
和 是查询q相关文档和不相关文档的集合,max{0,•}表示取最大值,最后将 、和 相加作为模型最终损失;
。
8.基于表示对齐增强和外部知识融合的低资源跨语言文本检索装置,其特征在于,包括用于执行如权利要求1‑7任一权利要求所述的方法的模块。