欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024109796975
申请人: 郑州大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于知识蒸馏技术的中文事件抽取方法,其特征在于,所述方法包括:基于高质量预训练语言模型构建事件抽取算法作为教师模型,教师模型包含事件检测子模型与事件参数抽取子模型;

基于轻量级未预训练的语言模型构建事件抽取算法作为学生模型,学生模型也包含事件检测子模型与事件参数抽取子模型;

使用目标数据集分别对教师模型进行事件检测训练与事件参数抽取训练,保存训练过程中得到的最优教师模型;

基于离线蒸馏的方式,在目标数据集上使用所述教师模型对所述学生模型进行知识蒸馏训练,包含事件检测训练与事件参数抽取训练,保存训练过程中得到的最优学生模型。

2.根据权利要求1所述的方法,其特征在于,所述事件抽取教师模型构建的步骤如下:通过Transformers工具库获取高质量预训练语言模型,与序列标注头连接,组成序列标注模型;

将所述序列标注模型复制为两份,分别作为教师模型的事件检测模型与事件参数抽取模型。

3.根据权利要求1所述的方法,其特征在于,所述事件抽取学生模型构建的步骤如下:通过Transformers工具库构建非预训练的语言模型,与序列标注头连接,组成序列标注模型;

将所述序列标注模型复制为两份,分别作为教师模型的事件检测模型与事件参数抽取模型。

4.根据权利要求1所述的方法,其特征在于,所述教师模型事件抽取训练的具体步骤包括:将数据集样本中的输入文本拆分为字符序列,并按照字符序列将数据集中的事件标注拆分为字符所对应的事件触发词序列与事件参数序列;

使用字符序列与事件触发词序列对所述教师模型的事件检测子模型进行训练,使用交叉熵损失函数,通过反向传播与梯度下降对模型进行训练;

使用字符序列、事件类别、以及所对应的事件参数序列对所述教师模型的事件参数抽取子模型进行训练,使用交叉熵损失函数,通过反向传播与梯度下降对模型进行训练;

保存训练过程中所得到的最优模型,包括事件检测子模型与事件参数抽取子模型,作为教师模型。

5.根据权利要求1所述的方法,其特征在于,所述基于知识蒸馏技术的学生模型事件抽取训练的具体步骤包括:将数据集样本中的输入文本拆分为字符序列,并按照字符序列将数据集中的事件标注拆分为字符所对应的事件触发词序列与事件参数序列;

将所述字符序列输入到所述教师模型的最优事件检测子模型中以得到教师模型的中间状态与最终输出;

将所述字符序列与事件触发词序列输入到所述学生模型的事件检测子模型中,使用交叉熵损失函数计算出预测损失;

基于教师模型的中间状态以及最终输出,分别使用Mean Squared Error,MSE与交叉熵函数计算教师与学生模型的嵌入层输出、编码器输出以及模型输出之间的距离;

将预测损失与距离损失一并进行反向传播与梯度下降,以此来对学生模型的事件检测子模型进行训练;

学生模型的事件参数抽取子模型训练与所述步骤相同,仅输入更换为符序列、事件类别、以及所对应的事件参数序列;

保存训练过程中所得到的最优模型,包括事件检测子模型与事件参数抽取子模型,作为最终的事件抽取模型。

6.一种基于所述模型的中文事件抽取算法执行方法,所述方法用于执行如权利要求1所构建的中文事件抽取模型,其特征在于,所述方法包括:将待抽取文本数据输入到事件检测子模型中,得到对应的触发词与事件类别,根据文本中包含的事件数量不同,可能会识别出0到多个触发词;

若存在识别出的触发词,则将对应的事件类别按顺序与所述字符序列连接并分别输入到事件参数抽取子模型中,得到对应的事件参数与事件参数角色。

7.根据权利要求5所述的方法,其特征在于,所述的事件检测流程包括如下步骤:将输入文本拆分为字符序列,得到序列S={w

将字符序列按照字符对应在预训练词表中的唯一下标转化为输入序列I={x输入序列I会被模型中的嵌入层转化为隐藏状态矩阵将隐藏状态矩阵H

按照触发词维度对预测概率分布计算最大值,得到

若得到的预测类别序列不包含有效事件类,则事件抽取流程完毕。

8.根据权利要求5所述的方法,其特征在于,所述事件参数抽取流程包括如下步骤:将预测的事件类别与待预测样本进行拼接,按照预训练语言模型的分句格式,形成输入样本:“[CLS]事件种类//原始输入样本[SEP]”;

将输入文本拆分为字符序列后,得到S={w

通过查询预训练词表,将字符序列转化为输入序列I={x假设第一个“原始输入样本”的起始下标为j,则对从