欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021106174401
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多任务学习的生物医学触发词检测和命名实体识别方法,其特征是按如下步骤进行:

步骤1、对于非结构化的生物医学文本进行预处理:将非结构化的生物医学文本进行分词和分句的处理,得到n个句子序列组成的无标签训练数据集,记为S={S1,S2,...,Si,...,Sn};其中,Si表示第i个句子序列,且表示 第 i 个 句 子 序 列中 第j 个 单 词 序 列 ,且表示第i个句子序列Si中第j个单词序列 的第k个字符;

n表示训练数据集中句子的总数目,m表示一个句子中单词的总数目,K表示一个单词中字符的总数目;

步骤2、对训练数据集S进行标注:步骤2 .1、设置触发词和命名实体识别的类别分别为 和ner

其中, 表示第n类触发词类别,L n表示第n类实体类别;

步骤2.2、同时对训练数据集S中的第i个句子序列Si中所有单词序列添加触发词类别和命名实体类别的标签 ,从而得到触发词检测任务的有标签 训练数据集与命名实体识别任务的有标签训

练数据集 其中, 表

示第i个句子序列Si中第j个单词序列 和其对应的触发词类别 表示第i个句子序列Si中第j个单词序列 和其对应的实体类别步骤3、词向量预训练:

获取生物医学文献并进行分词和分句的处理,得到n′个句子序列组成的无标签训练数据集,记为S′={S′1,S′2,...,S′i′,...,S′n′};S′i′表示第i′个句子序列,通过基于语言模型的Word2Vec工具对无标签训练数据集S′进行训练,得到预训练词向量矩阵M;

步骤4、基于多任务学习的生物医学触发词检测和命名实体神经网络的MTL‑TD‑NER模型的数据处理;所述MTL‑TD‑NER模型由基于混合编码嵌入的词向量编码层、基于双向LSTM的特征提取层和基于条件随机场的分类层组成;

步骤4.1、利用预训练词向量M将文本形式的第i个句子序列 转化为任意维度V的单词级别词向量形式数据 其中, 表示第j个单词 的单词级别词向量;

步骤4.2、基于混合编码嵌入的词向量编码层的数据处理,所述词向量编码层是由双向长短期记忆网络单元构成;

步骤4.2.1、将第j个单词序列 中的每一个字符输入到字符级别的双向长短期记忆网络单元中,用于训练所有字符生成相应单词的生成概率;

步骤4.2.2、提取第j个单词序列 中第一个字符和最后一个字符在所述双向长短期记忆网络单元中隐含层上的输出连接后作为第j个单词序列 的字符级别向量步骤4.3、对第j个单词 的单词级别词向量 和字符级别词向量 进行拼接,得到第j个单词序列 的混合编码的词向量 从而得到第i个句子序列Si的词向量步骤4.4、基于双向LSTM的特征提取层的数据处理:将第i个句子序列Si的词向量 输入到一层正向的LSTM网络结构中,再将第i个句子序列Si的词向量 输入到一层反向的LSTM网络结构中,最后将第j个词向量 在两个LSTM网络中的隐含层状态输出 和 组合拼接在一起作为第j个位置上的词向量 的上下文特征信息 从而得到第i个句子序列Si的特征序列步骤4.5、基于条件随机场的分类层的数据处理:步骤4.5.1、构建触发词检测任务的分类层和命名实体识别任务的分类层,且分类层是以条件随机场作为基本单元;为触发词检测任务的分类层构建并联的信息转换层td ner

transform ;为命名实体识别任务的分类层构建并联的信息转换层transform ;

步骤4.5.2、将特征序列 输入到触发词检测任务的分类层中,td td td td

得到输出O ,再将输出O 输入到信息转换transform 中得到触发词的特征信息F ,最后将td

特征信息F 与特征序列Hi相加,得到实体整体特征后输入到命名实体识别任务的分类层中,得到最终的实体识别结果

步骤4.5.3、将特征序列 输入到命名实体识别任务的分类层ner ner ner ner

中,得到输出O ,再将输出O 输入到信息转换transform 中得到实体的特征信息F ,最ner

后将特征信息F 与特征序列Hi相加,得到触发词整体特征并输入到触发词检测任务的分类层中,得到最终的触发词识别结果步骤5、训练MTL‑TD‑NER模型,从而得到最优的触发词检测和命名实体识别模型:步骤5.1、设置模型的参数变量:批次大小为B,当前开始的迭代次数为epochnow,最大的迭代次数为epochmax,模型的差值loss没有持续减小的迭代数为epochno,用于早停止策略的最大迭代次数为epoches;

步骤5.2、参数初始化:

采用均匀分布的方法来初始化基于混合编码嵌入的词向量层、基于双向LSTM的特征提取层、基于条件随机场的分类层的各个参数;

步骤5.3、从第epochnow代开始,将训练数据集S中每次以B大小的批次输入到MTL‑TD‑NER模型中,并利用式(1)来计算模型的输出标签与训练数据集S中的正确标签的差值loss,以更新模型中的参数;

式(1)中,losstd和lossner是触发词检测和命名实体识别任务的损失函数,并有:td ner td

式(2)和式(3)中,y 和y 为触发词标签和命名实体标签序列;score(y )和scorener

(y )分别为第i个句子序列Si输入MTL‑TD‑NER模型中所输出的触发词标签和命名实体标签序列的得分;λ和 为超参数,用于平衡两个任务之间的重要程度;; 表示所有可能的触发词标签序列集合, 表示所有可能的实体标签序列集合, 表示 中的某一个触发词标签序列, 表示中的某一个实体标签序列;

步骤5.4、若epochnow小于epochmax且epochno小于epoches,则将epochnow加1,然后转而继续执行步骤5.3;若epochnow大于等于epochmax或者epochno等于epoches,则表示得到最优的基于多任务学习的触发词检测和命名实体识别网络模型;

步骤6、利用所述最优的触发词检测和命名实体识别网络模型对无标签数据进行识别,从而得到无标签数据中每一个单词的触发词标签与命名实体识别标签。