欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022100142774
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.融合词簇约束的汉越跨语言词嵌入方法,其特征在于:所述方法的具体步骤如下:Step1、获取汉越单语词嵌入;

Step2、基于开源词库和在线词典,使用同主题词对和高频词对两种数据构建汉越双语词典,并基于不同类型的关联关系从词典中抽取对齐词簇,构建词簇词典;

Step3、将双语词典与词簇词典中的词对齐信息和词簇对齐信息融入映射矩阵的训练过程中,分别为汉语与越南语学习到的两个单独的正交映射矩阵;

Step4、将学习到的映射矩阵融入跨语言映射框架获取汉越共享词嵌入空间,使具有相同含义的汉语与越南语词嵌入在空间中彼此接近,利用空间余弦相似度为词典外未经标注的汉语或越南语单词查找对应的翻译词。

2.根据权利要求1所述的融合词簇约束的汉越跨语言词嵌入方法,其特征在于:所述Step1的具体步骤为:Step1.1、去除汉越单语新闻语料中的数字、特殊字符和标点符号;

Step1.2、将越南语语料中的大写字母转换为小写字母;

Step1.3、对语料进行分词操作,汉语语料使用jieba工具进行分词,越南语语料使用Vncorenlp工具进行分词,并去除分词后长度小于20的句子;

Step1.4、将预处理好的汉越单语语料输入到单语词嵌入模型中获取汉越单语词嵌入n×d m×d空间X∈R ,Y∈R ;其中,n为训练得到的汉语词嵌入个数,m为越南语词嵌入个数,d代表词嵌入维度。

3.根据权利要求1所述的融合词簇约束的汉越跨语言词嵌入方法,其特征在于:所述Step2的具体步骤为:Step2.1、基于多语公开数据集CLDR获取同主题对齐词对,其中包含月份、数字、颜色常用主题词的对齐词对;

Step2.2、构建停用词表,剔除汉语高频词中的助词、介词和语气词,并对剩余高频词进行人工筛选,去除特有名词及噪声词;

Step2.3、使用在线词典人工标注相应的越南语翻译,并剔除不包含在汉越单语词嵌入文件中的OOV词对;共完成构建5500对高质量的汉越双语词对,并从中随机抽取500对作为测试词典Test,剩余5000对作为汉越双语词典Seed;此外,通过汉越双语词典,分别得到词v×d典对应的汉语与越南语词嵌入矩阵X′,Y′∈R ;其中,v为词典大小,d代表词嵌入维度,X′={X′1,X′2,……,X′i,……,X′v},Y′={Y1′,Y2′,……,Yi′,……,Yv′},X′i与Yi′分别代表双语词典第i条词对所对应的汉、越单语词嵌入;

Step2.4、查找汉越双语词典中越南语翻译相同的词对,构建为一个初始的对齐词簇;

然后,使用开源词库查找初始词簇在词典中的近义词对或同类词对用于扩充对齐词簇,构建为近义对齐词簇或同类对齐词簇,词典中的同主题词对作为一种封闭词类本身具有一定的弱相关性,能构建为同主题对齐词簇;近义词簇、同类词簇、同主题词簇三种类型的对齐词簇共同构成词簇词典Seed_Cls。

4.根据权利要求1所述的融合词簇约束的汉越跨语言词嵌入方法,其特征在于:所述Step3的具体步骤为:Step3.1、为了更好地将词簇对齐信息融入映射矩阵的训练过程中,通过平均操作将词簇对齐进一步转换为簇心对齐;设现有词簇对齐信息{X′1,X′2,……X′s|Y1′,Y2′,……Yt′},其中s代表汉语词簇中的词嵌入个数,t代表越南语词簇中的词嵌入个数,所对应的簇心嵌入矩阵 与 的构建过程如下所示:l×d

CX,CY∈R 分别代表词

簇对齐数据中汉语与越南语的簇心嵌入矩阵,l代表词簇对齐数据的规模,d代表词嵌入维度;

Step3.2、簇心嵌入与词典中的词嵌入维度相同,因此词对齐数据同词簇对齐数据能直接融合为训练数据D3,应用到映射矩阵的训练中; 分别代表训练数据D3中融合词对齐与词簇对齐数据后的汉语与越南语嵌入矩阵,其中, 词典v×d

对应的汉语与越南语词嵌入矩阵X′,Y′∈R ;其中,v为词典大小,d代表词嵌入维度;

Step3.3、通过最小化词嵌入与簇心嵌入之间欧氏距离的平方和求解,模型在词对齐与词簇对齐数据上的联合损失函数如公式3所示:X′i与Yi′分别代表双语词典第i条词对所对应的汉、越单语词嵌入;因为两个损失中的映射矩阵是共享的,因此,通过训练数据D3将损失函数进一步简化为如下公式:Step3.4、当汉语与越南语学习到的两个单独的正交映射矩阵WX与WY满足正交约束时,最小化欧氏距离的平方和等价于最大化点积,如公式5所示:Tr(·)为迹运算,代表矩阵主对角线上所有元素之和,最优正交解为WX=U,WY=V,其中为 的SVD解。

5.根据权利要求1所述的融合词簇约束的汉越跨语言词嵌入方法,其特征在于:所述Step4的具体步骤为:Step4.1、使用汉语与越南语的单语词嵌入空间X,Y作为输入,将融合词簇对齐信息学习到的汉语与越南语学习到的两个单独的正交映射矩阵WX与WY融入跨语言映射框架VecMap中,经过归一化、白化、正交映射、去白化、重赋权重五个步骤得到汉语与越南语的共享词嵌入空间,使具有相同含义的汉语与越南语词嵌入在空间中彼此接近;

Step4.2、基于获得的汉越共享词嵌入空间,对于词典外任何一个未经标注的汉语或越南语单词,均能根据空间余弦相似度来查找该词在共享空间中对应的翻译词,设 与 分别为汉语与越南语单词, 分别为两个单词在共享空间中对应的汉语与越南语词嵌入,两词余弦相似度的计算过程如公式(6)所示,其中||·||2代表2‑范数;

以汉语单词作为检索词,经过计算选取与其余弦相似度最高的越南语单词作为候选词,构建汉越对齐词对以实现汉越跨语言词嵌入;

以越南语单词作为检索词,经过计算选取与其余弦相似度最高的汉语单词作为候选词,构建汉越对齐词对以实现汉越跨语言词嵌入。