欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021103448927
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于双语词典映射指导的跨语言信息检索方法,其特征在于:首先利用词映射生成查询辅助句实现跨语言的语义对齐,然后利用双语交互注意力来获取查询的跨语言特征表示,最后利用双语交互排序模型获得查询和文档的匹配分数实现跨语言信息检索;

所述方法的具体步骤如下:

Step1、将英越CLIR公共数据集中的英语查询翻译为汉语查询,通过人工筛选和校对构建汉越CLIR数据集;同时对英法、英菲、英斯三种CLIR公共数据集进行预处理;

Step2、将Step1预处理过的数据利用预先构建的双语映射词典,基于词级映射分别构造查询辅助句;然后利用共享Transformer分别获取查询、辅助句及文档的上下文表示,同时借助查询与辅助句之间的双语交互注意力机制获得查询的跨语言特征表示;最后利用双语交互排序模型获得查询和文档的匹配分数实现跨语言信息检索;

所述步骤Step2包括:

Step2.1、查询辅助句的生成:使用双语映射词典基于词级映射来生成查询辅助句,进而保留查询中大部分关键词的准确信息,如公式(1)所示:其中,D表示双语映射词典;map()表示词级映射函数;xi表示查询中的第i个词;yi表示词映射之后查询辅助句中的第i个词;

Step2.2、给定一个查询qzh=(x1,x2,…,x|q|)和文档d=(z1,z2,…,z|d|),其中,|q|和|d|表示查询和文档的长度;首先根据Step2.1利用双语映射词典基于词级映射生成查询辅助句的qvi=(y1,y2,…,y|q|);然后将每个句子的每个单词表示成n维词向量,如公式(2)‑(4)所示:Qz=[Eqz(x1);Eqz(x2);…;Eqz(x|q|)]    (2)Qv=[Eqv(y1);Eqv(y2);…;Eqv(y|q|)]    (3)D=[Ed(z1);Ed(z2);…;Ed(z|d|)]    (4)n×|q| n×|q| n×|d|

其中,Qz∈R 、Qv∈R 和D∈R ,分别表示查询、查询辅助句和文档的嵌入特征表示矩阵;xi、yi和zi表示查询、查询辅助句及文档的第i个词;Eqz、Eqv和Ed分别表示查询、查询辅助句及文档的嵌入函数,嵌入函数能将每一个输入序列中的每个词转化为对应的n维词向量;“分号”表示连接操作符;

Step2.3、为了获得查询、查询辅助句及文档的上下文表示,使用了基于Transformer的共享编码模块;该编码模块共由6个相同的层堆叠在一起,每一层又分为两个子层;第一个子层是一个多头的自注意力机制,第二个子层是一个全连接前馈网络;在两个子层外面都添加了一个残差连接,然后进行了层归一化的操作;具体对查询、辅助句及文档的编码过程如公式(5)‑(7)所示;

其中, 及 分别表示查询、文档及查询辅助句的上下文特征表示序列;

Transforme rEncoder()表示对输入序列的编码映射函数;

获取到查询、文档及查询辅助句的上下文特征表示之后,将上下文表示进行归一化,使得每个特征向量都成为等于1的L2范数,这样使得任何两个特征向量的内积等于它们的余弦相似度;

Step2.4、在查询和辅助句之间定义了一个双语交互注意力机制,该机制使得查询每一个词的特征表征通过只关注来自辅助句的相关词的特征表征来表示;基于Transformer的共享编码模块获取到查询和辅助句的特征表示序列 和 然后利用辅助句的每一个特征表示 的加权平均值来表示查询的第i个词的跨语言特征表示ci,计算如公式(8)所示:其中,ci表示查询的第i个词的跨语言特征表示;注意力权重αi,j表示查询辅助句的第j个词与查询中第i个词的注意力权重,它是通过在相应的匹配分数mi,j上计算softmax函数而获得的,如公式(9)所示;

匹配分数mi,j又是基于特征向量 和 的双线性乘积来计算的,具体计算过程如公式(10)所示:|q|×|q|

其中,W∈R 和b∈R是可训练的注意力参数;

Step2.5、基于双语交互注意力机制得到查询句中每一个词的跨语言特征表示ci之后,使用多头自注意力机制进行特征再提取;具体如公式(11)所示:其中,self_attention()表示多头自注意力机制的映射函数;表示查询的第i个词的跨语言上下文特征表示;

利用多头自注意力机制来获取一个序列的上下文特征表示时,使用点积注意来获取注意分数,具体计算方式如公式(12)所示:l×n l×n l×n

其中,Q∈R ,K∈R ,V∈R 分别表示查询矩阵,键矩阵,值矩阵;l表示输入查询句的序列长度,n表示特征维度;

具体来说,多头注意力机制分别对dq维的查询、dk维的键和dv维的值进行线性投影; 在每个查询、键和值的投影上并行地执行点积注意,最后将这些注意力的结果拼接起来,并再次进行线性投影,从而获取到新的上下文特征表示;多头注意力机制如公式(13)、(14)所示:其中, dq=dk=dv=n/h,h表示头的数量;

Step2.6、给定查询经过双语交互注意力机制之后的表示矩阵,以及文档经过共享transformer编码之后的上下文表示矩阵,通过双语交互排序模块计算查询和文档之间的匹配关联得分,关联得分通过最大相似度MaxSim操作符的总和求得;

利用两个表示矩阵 和 交互排序来估计查询和文档的匹配得分,

记为scoreq,d,这是每一个查询词和文档词最大相似度的总和,如公式(15)所示:Step2.7、通过成对排名网络损失最大化相关文档和不相关文档之间的分数差异来训练跨语言深度关联匹配模型。

2.根据权利要求1所述的基于双语词典映射指导的跨语言信息检索方法,其特征在于:所述步骤Step1的具体步骤为:

Step1.1、利用谷歌翻译的接口将英‑越CLIR公共数据集中的英语查询翻译为汉语查询,通过人工筛选和校对,将翻译质量差以及翻译错误的查询句进行删除;

Step1.2、将汉语查询中的主题词删除,将每个文档长度限制在文章的前250个词以内,同时将查询和文档中的乱码符号以及停用词进行删除;

Step1.3、根据查询和文档对应的编号以及相关性标签r,其中r∈{0,1},获得英法、英菲、英斯、汉越四种CLIR数据集的三元组包括:查询、正样本文档、负样本文档。