1.一种基于联合优化训练的越南语依存句法树库构建方法,其特征在于:所述方法包括:Step1、收集中文、英文和越南语的语料作为实验数据,并进行预处理;
Step2、将实验数据加载到多语言预训练语言模型中,并利用多语言预训练语言模型增强原始双仿射依存句法分析模型的表征能力;利用中文、英文和越南语实验数据分别训练三个双仿射依存句法分析模型;训练完成后,分别保存得到的三个双仿射依存句法分析模型,分别命名为中文模型、英文模型和越南语模型;
Step3、收集新的无标签的越南语数据集,并构建越南语依存句法树库;
Step4、使用中文模型、英文模型和越南语模型对构建的越南语依存句法树库语料进行解析,生成伪依存句法树库;
Step5、以越南语模型生成的伪依存句法树库作为标准,筛选出中文模型、英文模型生成的高质量伪依存句法树库;
Step6、将筛选出的高质量伪依存句法树库与原始实验数据中的中文、英文和越南语语料混合,重新训练双仿射依存句法分析模型,利用训练好双仿射依存句法分析模型进行越南语依存句法树库构建;
所述Step1包括:
从通用数据集UniversalDependencies下载带有标签的汉语、英语和越南语的通用依存句法树库作为实验数据,对实验数据进行分词,然后根据分词结果处理成符合CoNLL-U格式的依存句法树;
所述Step2包括:
Step2.1、将处理后的实验数据加载到多语言预训练语言模型中进行参数微调;
Step2.2、使用多语言预训练语言模型进行特征提取;
Step2.3、对提取的特征进行加权组合形成特征表示;
Step2.4、使用字符级双向长短时间记忆网络Char-BiLSTM对每个单词的字符进行编码,得到字符表示;
Step2.5、将特征表示与随机初始化的词嵌入组合形成词表示,并与字符表示联合组成词向量表示;
Step2.6、将中文、英文和越南语的词向量表示分别输入到双仿射依存句法分析模型中进行训练;
Step2.7、训练完成后,分别保存双仿射依存句法分析模型,并分别命名为中文模型、英文模型和越南语模型;
所述Step2.3包括:
提取多语言预训练语言模型最后4层的特征记为Hi1(i1∈[1,4]),可训练的权重参数为Si1,γ为缩放参数;首先,将每层的权重参数通过Softmax函数进行归一化处理,然后将归一化后的权重参数与对应的特征表示相乘,得到每层的加权特征表示;最后对各层的加权特征表示进行求和,得到最终的特征表示repXLM-R;计算过程如下:;
;
所述Step2.6、Step2.7包括:
使用一个三层的BiLSTM编码器来生成句子中每个词向量表示的上下文化表示{};将每个BiLSTM的输出向量分别输入两个多层感知器MLP中,提取两个低维的句法向量依赖词和的正确核心词;之后使用双仿射来计算依赖词和的正确核心词之间的依存关系弧分数ArcScore(j);同时还使用额外的MLP和双仿射操作来计算每个词对之间的标签分数,用于评估每个依存弧的语法关系类型;双仿射依存句法分析模型还为每个位置i都定义了一个局部交叉熵损失函数;最后将训练完成的双仿射依存句法分析模型分别保存,并分别命名为中文模型、英文模型和越南语模型;
ArcScore(j)的计算公式为:;
其中,是依赖词的向量,是的正确核心词的向量,U1是一个用于计算依存弧的双仿射矩阵;
局部交叉熵损失函数所使用到的依存句法分析损失函数的定义如下所示:;
其中,wj代表依赖词wi的正确核心词,l代表依赖词和的正确核心词之间的依存关系类型;
所述Step5包括:
Step5.1、以越南语模型生成的越南语伪依存句法树库作为标准,筛选出中文模型和英文模型生成初始的高质量伪依存句法树库;
Step5.2、根据规则筛选出高质量伪依存句法树库;
其中,通过比较中文模型和英文模型与越南语模型生成的依存句法树中的标签和头节点数量来进行筛选;将相同数量的标签和头节点记为T,总数记为A,然后计算两者的比例,得出正确率Correct Rate;按照分数的大小对依存句法树进行筛选,选出中文模型和英文模型中的优质依存句法树,并将其构成高质量伪依存句法树库;具体的分数比例计算方法如下所示:;
所述Step6包括:
Step6.1、将筛选的高质量伪依存句法树库与原始实验数据中的中文、英文和越南语语料混合;
Step6.2、分别将混合处理后的数据加载到双仿射依存句法分析模型中进行模型训练,步骤与Step2相同,并保存训练好的模型,利用训练好双仿射依存句法分析模型进行越南语依存句法树库构建。
2.根据权利要求1所述的一种基于联合优化训练的越南语依存句法树库构建方法,其特征在于:所述Step3包括:Step3.1、从通用数据集ALT下载无标签的越南语数据集作为新的实验数据;
Step3.2、使用underthesea分词工具对越南语数据集进行分词、去重处理,并人工标记构建越南语依存句法树库。
3.根据权利要求1所述的一种基于联合优化训练的越南语依存句法树库构建方法,其特征在于:所述Step4包括:Step4.1、将构建的越南语依存句法树库中的语料输入到三个已微调的中文模型、英文模型和越南语模型中进行解析;
Step4.2、保存中文模型、英文模型和越南语模型解析得到的越南语伪依存句法树库。
4.一种基于联合优化训练的越南语依存句法树库构建系统,其特征在于,所述系统包括:用于执行如权利要求1至3任一权利要求所述的一种基于联合优化训练的越南语依存句法树库构建方法的模块。