欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020100629057
申请人: 昆明理工大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于英语枢轴的弱监督汉越双语词典构建方法,其特征在于:Step1、分别收集汉语、英语和越南语的单语语料以及对语料进行预处理;

Step2、基于种子词典的方法将汉越词向量分别对齐到英语词向量共享空间;

Step3、在英语词向量共享空间中通过对抗网络学习汉越词向量之间的映射关系;

Step4、采用不同的抽取策略抽取汉-越词典。

2.根据权利要求1所述的基于英语枢轴的弱监督汉越双语词典构建方法,其特征在于:所述步骤Step1的具体步骤为:

Step1.1、利用网络爬虫爬取汉英越语料:将针对不同的网址,编写不同的网络爬虫程序,获取汉英越语料;

Step1.2、基于回译的方法扩充语料的规模:将汉英越语料分别通过谷歌翻译模型回译,回译出伪源句子,扩充语料;

Step1.3、将获取的语料进行去停用词标点操作:将针对不同语料获取不同的停用词表,以及对应的标点符号表,然后进行去停用词以及标点符号操作;

Step1.4、利用分词工具对语料进行分词操作:将中文句子通过结巴分词进行分词处理,将越南语句子以及英语句子通过空格进行分词处理。

3.根据权利要求1所述的基于英语枢轴的弱监督汉越双语词典构建方法,其特征在于:所述步骤Step2具体步骤为:

Step2.1、将源句子与目标句子分别输入Fasttext模型中得到各自的词向量;

Step2.2、将基于种子词典的方法分别学习汉语-英语、越语-英语的映射矩阵Wxz和Wyz,将汉语词向量以及英语词向量分别对齐到英语词向量共享空间中,通过上述步骤得到汉-英词向量以及越-英词向量,分别重新定义为源词向量以及目标词向量。

4.根据权利要求1所述的基于英语枢轴的弱监督汉越双语词典构建方法,其特征在于:所述步骤Step3中,利用英语作为英语枢轴语言获取汉越词向量之间的映射关系的表示方法,具体步骤为:Step3.1、将构建一个生成器G与判别器D;

Step3.2、将源词向量输入对抗网络,调节源语言词向量到目标语言词向量的映射矩阵Wxy;

Step3.3、在英语词向量共享空间中,将映射后的源语言词向量与目标语言词向量输入判别器D,判别词向量来源;

Step3.4、将不断迭代生成器G与判别器D模型参数;

Step3.5、通过无监督选择标准获取一个模型。

5.根据权利要求4所述的基于英语枢轴的弱监督汉越双语词典构建方法,其特征在于:所述步骤Step3.1中,生成器负责学习联系两个空间的线性映射,判别器负责判别词向量来自源语言还是目标语言,生成器与判别器形成相互对抗的关系用于提升生成器和判别器的性能。

6.根据权利要求4所述的基于英语枢轴的弱监督汉越双语词典构建方法,其特征在于:所述步骤Step3.2中,通过步骤Step2将汉语及越南语的词向量均映射到英语词向量共享空间中,之后把汉-英词向量和越-英词向量的映射建模为一个对抗游戏,通过平衡对抗网络最终学习到汉-越的映射矩阵Wxy。

7.根据权利要求4所述的基于英语枢轴的弱监督汉越双语词典构建方法,其特征在于:所述步骤3.5的具体步骤如下:

从源语言中抽取1000个最常见的单词词向量,并利用CSLS方法寻找所抽取单词词向量的最近邻,然后计算这1000个单词对词向量的余弦距离的平均值,最后将这个超参数作为模型选择的标准,训练10轮,选取超参数最大的模型。

8.根据权利要求1所述的基于英语枢轴的弱监督汉越双语词典构建方法,其特征在于:步骤Step4中提到的抽取策略,具体步骤为:

Step4.1、通过NN/CSLS距离公式计算映射后的源语言词向量与目标语言词向量抽取汉-越词向量构建汉-越词典。