欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023101427785
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种融入语言对抗网络的汉-越跨语言依存句法分析方法,其特征在于:所述方法的具体步骤如下:Step1、越南语无标注数据的收集和预处理;

Step2、利用越南语无标注数据通过最小化语言模型损失来微调XLM-RoBERTa模型,从而获取越南语语言相关的信息;

Step3、将微调后的XLM-RoBERTa模型隐藏层最后四层的输出作为基于语言嵌入的依存句法分析模型的额外输入;

Step4、将上一步得到的XLM-RoBERTa表示以及语言嵌入表示拼接,并作为语言嵌入模型的输入向量,然后经过BiLSTM进行编码,接着通过多层感知机MLPs进行降维,最后通过双仿射机制Biaffines获取依存弧的分值,最终通过最大生成树算法进行解码获得依存句法树;

Step5、将语言对抗网络融入RoBERTa增强后的语言嵌入模型,尝试利用汉语的句法信息提高越南语依存句法分析的性能。

2.根据权利要求1融入语言对抗网络的汉-越跨语言依存句法分析方法,其特征在于:所述Step1的具体步骤如下:Step1.1、将爬取的越南语网页经过规则提取、去重、机器标注、人工校对形成越南语文本语料库,作为构建无标签数据;从通用数据集UD下载汉语和越南语带标签数据作为实验室数据。

3.根据权利要求1融入语言对抗网络的汉-越跨语言依存句法分析方法,其特征在于:所述Step2的具体步骤如下:Step2.1、从网站下载XLM-RoBERTa模型,并选取原始的XLM-RoBERTa模型作为基础模型;

Step2.2、使用原始XLM-RoBERTa模型中的参数作为起点,使用越南语无标签数据对XML-RoBERTa的模型参数进行微调;这里去除了下一个句子的损失和正交损失,只用语言模型损失来调整XLM-RoBERTa模型参数。

4.根据权利要求1融入语言对抗网络的汉-越跨语言依存句法分析方法,其特征在于:所述Step3的具体步骤如下:Step3.1获取微调以后XLM-RoBERTa中隐藏层的最后四层的输出;

Step3.2计算获取BERT输出的后四层的平均值,然后使用线性映射将高维输出变成低维输出向量Step3.3将带标签的汉语和越语数据向量化得到词嵌入表示随机初始化语言嵌入表示

5.根据权利要求1融入语言对抗网络的汉-越跨语言依存句法分析方法,其特征在于:所述Step4具体包括如下:Step4.1通过拼接微调后的XLM-RoBERTa表示词嵌入表示和语言嵌入表示获取每个词的输入向量xi;

Step4.2将xi作为私有长短时记忆网络BiLSTM的输入,经过私有长短时记忆网络BiLSTM编码获取私有的上下文相关词表示Step4.3和共享长短时记忆网络BiLSTM得到的上下文相关表示拼接后经过多层感知机进行降维,获取每个词作为中心词表示和修饰词的向量表示Step4.4将每个词作为中心词表示和修饰词的向量表示经过双仿射层,获取依存弧的分值S;

Step4.5对依存弧的分值S利用最大生成树算法进行解码,获得最终的依存句法树。

6.根据权利要求1所述的融入语言对抗网络的汉-越跨语言依存句法分析方法,其特征在于:所述Step5具体包括如下:Step5.1通过拼接微调后的XLM-RoBERTa的表示和词嵌入表示获取每个词对应的输入向量Step5.2将作为额外的共享长短时记忆网络BiLSTM的输入,获取公共的共享的上下文相关词表示Step5.3共享的上下文相关词表示与私有的上下文相关词表示拼接进入MLPs中进行降维;

Step5.4在共享长短时记忆网络BiLSTM上加入梯度反转层和语言分类器,通过最小化语言分类损失,让共享BiLSTM捕获更多的汉语和越南语之间共性,从而增强模型进行越南语依存句法分析的能力,使公共的上下文词表示进入梯度反转层和语言分类器;

Step5.5为了进一步增强汉语和越南语之间的公共特征的提取,这里增加了正交损失,减少语言特定特征对语言公共特征的干扰。