欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020110069117
申请人: 昆明理工大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.融合关键词和语义特征的汉越文本相似度计算方法,其特征在于:所述方法包括:

Step1、对汉越文本语料数据进行预处理,将文本拆分成词的序列和句子的序列;

Step2、将词的序列作为关键词获取层的输入,对越南语和汉语经过不同的处理得到文本间共现关键词的信息,计算出基于关键词的文本相似度信息;

Step3、将句子序列作为文本压缩层的输入,基于共现关键词信息,去除与共现关键词无关的句子,以对文本进行压缩,然后将包含共现关键词的句子进行拼接,分别输入汉-越BERT模型,捕获到文本的上下文语义特征,计算出基于句子的语义特征相似性;

Step4、将基于关键词的相似信息和基于句子的语义特征进行融合,得到最终文本的相似信息。

2.根据权利要求1所述的融合关键词和语义特征的汉越文本相似度计算方法,其特征在于:所述Step1中:Step1、首先将汉-越平行文本语料数据进行分词和去除停用词处理,将文本拆分成词的序列和句子的序列作为下游模型的输入。

3.根据权利要求1所述的融合关键词和语义特征的汉越文本相似度计算方法,其特征在于:所述步骤Step1的具体步骤为:Step1.1、对汉越平行文本语料进行数据预处理,输入为中文文档和越南文文档,其中中文文档和越南语文档分别被拆分为词的序列WC=(C1,C2,…,Cn),WV=(V1,V2,…,Vn)和句子的序列SC=(Sc1,Sc2,…,Scn),SV=(Sv1,Sv2,…,Svn),词的序列作为关键词获取层的输入经过处理获取到文本间词的相似信息,而句子序列作为文本压缩层的输入经过处理获取文本上下文语义相似特征。

4.根据权利要求1所述的融合关键词和语义特征的汉越文本相似度计算方法,其特征在于:所述步骤Step2的具体步骤为:Step2.1、使用关键词提取算法TextRank提取文档中的关键词并得到关键词的权重W,其权重计算公式如下所示,该算法将词之间的信息表示为一个有向有权图G=(V,E),V为点集合E为边集合;

其中d是阻尼系数,WS(Vi)和WS(Vj)分别代表词Vi和Vj的权重,In(Vi)和Out(Vj)分别代表词Vi和Vj的入度和出度,wji和wjk分别代表Vi,Vj和Vj,Vk间的权重;

Step2.2、在经过TextRank算法输出文本的关键词信息后,将越南语关键词经过Translation模块将越南语文本关键词翻译成汉语,翻译后得到的关键词和中文关键词使用中文同义词工具Synonyms计算出与关键词相关的近义词集,将近义词和文章的关键词进行融合构成中文文本关键词词集和越南语文本关键词词集;

Step2.3、为了获取两文档的关键词相似特征,利用得到的中文文本关键词词集和越南语文本关键词词集求出两篇文章的共现关键词,利用共现关键词的权重占抽取出的全部关键词权重来求出两篇文章关键词的相似性。

5.根据权利要求4所述的融合关键词和语义特征的汉越文本相似度计算方法,其特征在于:Step2.3中,利用共现关键词的权重占抽取出的全部关键词权重来求出两篇文章关键词的相似性的具体方法为:将两篇文章共现的关键词占所有抽取到的关键词的比重作为基于关键词所获得的文本相似度信息,其计算公式如下所示:其中WIi和WCi分别代表共现关键词的第i个词的权重和抽取到的全部关键词第i个词的权重,n为关键词的个数,m为共现关键词的个数。

6.根据权利要求1所述的融合关键词和语义特征的汉越文本相似度计算方法,其特征在于:所述Step3中:为了将汉越的句子或短文本段落映射到密集的向量空间,训练一个能捕获汉越上下语义信息的汉越BERT模型(ZH-VI BERT),采用知识蒸馏的方法将现有的句子嵌入模型扩展到新语言;利用教师模型M将源语言s映射到一个密集的向量空间,同时训练数据为汉越平行句对((s1,t1),...,(sn,tn)),其中si是源语言,ti为目标语言,训练新的学生模型 使和 将此方法称为多语言知识蒸馏学习,因为学生 提炼了老师M的知识,给定最小批次B,最小化其均方损失MSE,计算公式如下所示。

学生模型 可以是具有教师模型M的结构和权重,也可以是权重完全不同的其他网络体系结构,使用中文BERT模型作为教师模型,学生模型为多语言BERT模型;

将训练好的模型称为汉-越BERT模型,将压缩后的文本输入训练好的汉-越BERT模型,对其进行语义捕获,以获得上下文语义特征。

7.根据权利要求1所述的融合关键词和语义特征的汉越文本相似度计算方法,其特征在于:所述Step3中,捕获到文本的上下文语义特征,计算出基于句子的语义特征相似性的具体做法如下:将与共现关键词相关的中文短文本和越南语短文本分别输入汉-越BERT模型,使其对汉越双语短文本进行编码,编码后的输出的特征向量使用余弦相似度计算两个向量的余弦距离,计算公式如下所示:其中ai表示中文短文本S1的向量的第i个特征值,bi表示越南语短文本S2的向量的第i个特征值;

得到多个基于共现关键词上的汉语越南语短文本相似信息后,求其平均值得到基于上下文语义信息所得的相似度Sim2,计算公式如下式所示:其中Fi表示第i个关键词的上下文语义相似度。