1.一种基于深度学习的英文文献污染物信息抽取方法,其特征在于,包括:基于现有化学品名录,构建适用于本土环境监测文献文本挖掘的术语词典;
获取原始文献,并对原始文献进行语料分词,构建文献生语料;
构建实体抽取模型和关系抽取模型;
对文献生语料进行预处理,得到用于实体抽取模型和关系抽取模型的训练集和测试集;
通过训练集对实体抽取模型和关系抽取模型进行训练,得到训练完成的实体抽取模型和关系抽取模型;
将测试集输入至训练完成的实体抽取模型进行识别,得到实体识别结果;
将实体识别结果和测试集数据输入至训练完成的关系抽取模型,得到浓度及化合物名称的关系抽取结果;
所述实体抽取模型采用Bi-LSTM+CRF模型,所述关系抽取模型采用Bi-GRU模型;
对文献生语料进行预处理包括:
结合BIO标注模型和术语词典对文献生语料中的词语进行标注,并将标记后的词语转化为符合Bi-LSTM+CRF模型输入格式的化学品名称;
通过Bi-LSTM+CRF模型对化学品名称进行识别并输出对应的浓度;
对浓度进行识别并还原出化学品的命名实体;
BIO标注模型的定义包括:
B表示命名实体首部字;I表示命名实体内部字;E则表示命名实体的结束;O表示非命名实体构成字;S表示单字命名实体;
将标记后的词语转化为符合Bi-LSTM+CRF模型输入格式的化学品名称,包括:提取标注后的内容中的每个字符和字符的标签,将其加入“字符”和“字符标签”两个数组,如果该字符为预设字符,删除该字符及其字符标签,利用pad_sequences函数,将得到的数组转化为符合所述Bi-LSTM+CRF模型输入格式的化学品名称;
通过Bi-LSTM+CRF模型对化学品名称进行识别并输出对应的浓度包括:加载预训练的词向量,并将样本数据与词向量匹配,将匹配成功的数据生成用于模型训练的词向量矩阵;
将词向量矩阵作为embedding层输入,经过Bi-LSTM层进行编码,Bi-LSTM层的输出为词的每一个标签分值,通过挑选标签分值最高的作为该词的标签;
引入CRF层,进行句子级的序列标注;
最后识别出浓度并提取;
构建的关系抽取模型包括:
模型网络第一层为Bi-GRU;每个GRU单元分别包含包括一个重置门rz
r
其中,σ()为sigmoid非线性激活函数,用于增强模型对非线性数据的处理能力,σ(x)=1/(1+e模型网络第二层为词级注意力层:w={w模型网络第三层为句级注意力层:
将词级注意力层的输出s组成的句子特征值作为句级注意力层的输入,加入随机初始化的词上下文向量uu
模型网络第四层为Softmax分类器:Softmax分类器将v映射到一组元素在[0,1]区间内的向量,向量和为1,如下式所示:y=Softmax(v),y=[y
其中,N为关系标签数量,即关系抽取分类数量。
2.根据权利要求1所述的一种基于深度学习的英文文献污染物信息抽取方法,其特征在于,对原始文献进行语料分词包括:原始文献经基于互信息和左右熵的短语提取算法处理,得到文本片段的互信息值和左右熵;
根据互信息和左右熵对原始文献中的文本短语进行评分并排名;
提取排名靠前的文本短语加入分词词典进行文本分词,根据分词结果调整文本短语评分,得到词语边界明确的文献生语料。
3.根据权利要求1所述的一种基于深度学习的英文文献污染物信息抽取方法,其特征在于,经过Bi-LSTM层进行编码包括:经过Bi-LSTM层自动提取句子特征,将一个句子的各个词的char embedding序列(x
4.根据权利要求1所述的一种基于深度学习的英文文献污染物信息抽取方法,其特征在于,在词级注意力层训练过程中加入随机初始化的词上下文向量u其中α
5.根据权利要求4所述的一种基于深度学习的英文文献污染物信息抽取方法,其特征在于,关系抽取模型训练当中,添加L