1.一种半监督的中英文隐式篇章关系识别方法,其特征在于,所述方法包括如下步骤:步骤一、数据集准备:
给定人工标注的中文篇章关系数据集 和英文篇章关系数据集 以及未标注的中文篇章关系数据集 和英文篇章关系数据集 ,基于中英互译机器翻译系统进行翻译以分别得到 的译文数据集 , 的译文数据集 , 的译文数据集 以及的译文数据集 ;
步骤二、模型构建:
在基于注意力机制的隐式篇章关系识别模型的基础上,分别构建得到中文隐式篇章关系识别模型以及英文隐式篇章关系识别模型;
步骤三、无监督的模型训练:
基于未标注的中文篇章关系数据集 、未标注的英文篇章关系数据集 、 的译文数据集 以及 的译文数据集 ,随机初始化中文隐式篇章关系识别模型的参数以及英文隐式篇章关系识别模型的参数 ,对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行无监督训练直至达到最大训练轮数以得到无监督训练后参数 以及参数 的值;
其中,在训练过程中,基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数,分别在未标注的中文篇章关系数据集以及未标注的英文篇章关系数据集上最小化对应的基于知识迁移的代价函数,以实现中文隐式篇章关系识别模型与英文隐式篇章关系识别模型之间的知识迁移;
步骤四、有监督的模型训练:
基于人工标注的中文篇章关系数据集 、人工标注的英文篇章关系数据集 、 的译文数据集 以及 的译文数据集 ,以无监督训练后得到的参数 以及参数的值作为初始值,对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行有监督训练,直至收敛以分别得到训练好的中文隐式篇章关系识别模型以及训练好的英文隐式篇章关系识别模型;
其中,在训练过程中,基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数,并结合各自定义的交叉熵分类代价函数,以分别得到中文隐式篇章关系识别模型与英文隐式篇章关系识别模型各自对应的总代价函数,分别在标注的中文篇章关系数据集以及标注的英文篇章关系数据集上最小化对应的所述总代价函数以进行模型训练;
步骤五、预测结果输出:
基于所述训练好的中文隐式篇章关系识别模型计算得到中文隐式篇章关系预测结果,基于所述训练好的英文隐式篇章关系识别模型计算得到英文隐式篇章关系预测结果。
2.根据权利要求1所述的半监督的中英文隐式篇章关系识别方法,其特征在于,所述基于注意力机制的隐式篇章关系识别模型包括编码层、基于注意力机制的特征层以及分类层;
其中,所述编码层用于学习论元中的词在上下文中的表示,具体表示为:其中, 分别为论元1中第 个词的词向量及其在上下文中的表示, 分别为论元2中第 个词的词向量及其在上下文中的表示, 与 分别是论元1与论元2中词的个数,BiLSTM1和BiLSTM2均为双向长短时记忆网络。
3.根据权利要求2所述的半监督的中英文隐式篇章关系识别方法,其特征在于,所述基于注意力机制的特征层用于建模论元1与论元2之间的交互,具体表示为:其中, 和 分别为基于最大池化操作得到的论元1与论元2的语义表示;
表示最大池化操作, 为基于论元2的语义表示 计算的论元1中的词的权重, 为基于论元1的语义表示 计算的论元2中的词的权重, 为向量的转置,为归一化操作; 和 分别为语义交互后得到的论元1和论元2的语义表示, 为拼接 和得到特征层的输出;
所述分类层用于输出模型预测的结果,具体表示为:其中, 是隐式篇章关系预测结果, 表示多层感知机,由多个全连接的非线性神经网络层和一个 层组成。
4.根据权利要求1所述的半监督的中英文隐式篇章关系识别方法,其特征在于,对所述中文隐式篇章关系识别模型进行无监督训练的步骤中,对应的基于知识迁移的代价函数表示为:
其中, 为中文隐式篇章关系识别模型进行无监督训练对应的基于知识迁移的代价函数, 为中文隐式篇章关系识别模型的参数, 为未标注的中文隐式篇章关系实例 的元篇章关系预测结果, 为 的英文译文实例 的元篇章关系预测结果, 表示两个概率分布之间的KL距离, , 。
5.根据权利要求4所述的半监督的中英文隐式篇章关系识别方法,其特征在于,对所述英文隐式篇章关系识别模型进行无监督训练的步骤中,对应的基于知识迁移的代价函数表示为:
其中, 为英文隐式篇章关系识别模型进行无监督训练对应的基于知识迁移的代价函数, 为英文隐式篇章关系识别模型的参数, 为未标注的英文隐式篇章关系实例 的元篇章关系预测结果, 为 的中文译文实例 的元篇章关系预测结果, , 。
6.根据权利要求4所述的半监督的中英文隐式篇章关系识别方法,其特征在于,对所述中文隐式篇章关系识别模型进行有监督训练直至收敛以得到训练好的中文模型的步骤中,对应的第一总体代价函数表示为:其中, 为对应于基于知识迁移的代价函数的第一权重系数;
其中, 表示在人工标注的中文篇章关系数据集 上定义的交叉熵分类代价函数, 是中文隐式篇章关系识别模型的参数, 是中文实例 的隐式篇章关系预测结果, 是 的真实类别基于One‑hot编码的表示, 表示预测结果对于真实类别的期望值;
其中, 为基于中文篇章关系数据集 及其译文数据集 所定义的基于知识迁移的代价函数, 是中文隐式篇章关系实例 的元篇章关系预测结果,是 的英文译文实例 的元篇章关系预测结果, , 。
7.根据权利要求4所述的半监督的中英文隐式篇章关系识别方法,其特征在于,对所述英文隐式篇章关系识别模型进行有监督训练直至收敛以得到训练好的英文模型的步骤中,对应的第二总体代价函数表示为:其中, 为对应于基于知识迁移的代价函数的第二权重系数;
其中, 表示在人工标注的英文篇章关系数据集 上定义的交叉熵分类代价函数, 是英文隐式篇章关系识别模型的参数, 是英文隐式篇章关系实例 的隐式篇章关系预测结果, 是 的真实类别基于One‑hot编码的表示, 表示预测结果对于真实标记的期望值;
其中, 为基于英文篇章关系数据集 及其译文数据集 所定义的基于知识迁移的代价函数, 是英文隐式篇章关系实例 的元篇章关系预测结果,是 的中文译文实例 的元篇章关系预测结果, , 。
8.一种半监督的中英文隐式篇章关系识别系统,其特征在于,所述系统包括依次连接的数据集预处理模块、模型构建模块、第一训练模块、第二训练模块以及结果输出模块:所述数据集预处理模块用于:
给定人工标注的中文篇章关系数据集 和英文篇章关系数据集 ,以及未标注的中文篇章关系数据集 和英文篇章关系数据集 ,基于中英互译机器翻译系统进行翻译以分别得到 的译文数据集 , 的译文数据集 , 的译文数据集 以及的译文数据集 ;
所述模型构建模块用于:
在基于注意力机制的隐式篇章关系识别模型的基础上,分别构建得到中文隐式篇章关系识别模型以及英文隐式篇章关系识别模型;
所述第一训练模块用于:
基于未标注的中文篇章关系数据集 、未标注的英文篇章关系数据集 、 的译文数据集 以及 的译文数据集 ,随机初始化中文隐式篇章关系识别模型的参数以及英文隐式篇章关系识别模型的参数 ,对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行无监督训练直至达到最大训练轮数以得到无监督训练后参数 以及参数 的值;
其中,在训练过程中,基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数,分别在未标注的中文篇章关系数据集以及未标注的英文篇章关系数据集上最小化对应的基于知识迁移的代价函数,以实现中文隐式篇章关系识别模型与英文隐式篇章关系识别模型之间的知识迁移;
所述第二训练模块用于:
基于人工标注的中文篇章关系数据集 、人工标注的英文篇章关系数据集 、 的译文数据集 以及 的译文数据集 ,以无监督训练后得到的参数 以及参数的值作为初始值,对所述中文隐式篇章关系识别模型以及所述英文隐式篇章关系识别模型进行有监督训练直至收敛以分别得到训练好的中文隐式篇章关系识别模型以及训练好的英文隐式篇章关系识别模型;
其中,在训练过程中,基于中文隐式篇章关系识别模型与英文隐式篇章关系识别模型的元篇章关系预测结果分别定义基于知识迁移的代价函数,并结合各自定义的交叉熵分类代价函数,以分别得到中文隐式篇章关系识别模型与英文隐式篇章关系识别模型各自对应的总代价函数,分别在标注的中文篇章关系数据集以及标注的英文篇章关系数据集上最小化对应的所述总代价函数以进行模型训练;
所述结果输出模块用于:
基于所述训练好的中文隐式篇章关系识别模型计算得到中文隐式篇章关系预测结果,基于所述训练好的英文隐式篇章关系识别模型计算得到英文隐式篇章关系预测结果。