1.一种分词、词性标注和命名实体识别的联合词法分析方法,其特征在于:将分词和词性标注任务分解为候选词语检测和词性类别预测两个子任务,将实体识别任务分解为候选实体检测和实体类别预测两个子任务,并采用统一的神经网络模型对四个任务进行联合学习;同时,对不同任务之间的参数进行共享;
具体包括以下步骤:
S1:对从PFR1998中获取的文本进行数据预处理,给每个字符片段匹配它对应的标签类别;
S2:对S1预处理过的数据中依次得到每个句子信息作为输入,利用BERT预训练语言模型对输入进行特征编码,获取句子中每个字的带上下文语义向量表示,对句子中所有连续子序列进行候选词语检测和候选实体检测,再通过计算候选词语和候选实体的得分概率,进而去预测当前序列中的词序列标签、词性序列标签和实体序列标签;
所述S1对数据预处理包括:
针对训练集对词语构建词性标签字典和实体标签字典;
结合字符在句子中的位置信息,给字符片段标注标签类别;
随后,每个句子都以字符作为输入单位,通过BERT预训练语言模型的分词器对每个字符赋予固定的id编号,获得句子的切分序列[w对预处理后的数据,获取句子中每个字的带上下文语义向量表示:将切分后的序列[w
对句子中所有连续子序列进行候选词语检测和候选实体检测,包括:编码后得到的向量序列[h
得到向量序列[q
使用贪心算法得到最优解:
max(s
同理,编码后得到的向量序列[h
对句子中所有连续子序列进行候选词语检测和候选实体检测后,进行词性类别预测和实体类别预测:将编码后得到的向量序列[h
其中,U
2.如权利要求1所述的分词、词性标注和命名实体识别的联合词法分析方法,其特征在于,包括以下步骤:在词性类别预测和实体类别预测后,预测当前序列中的词序列标签、词性序列标签和实体序列标签为:通过得到的得分s
其中P是样本的单词首尾集合,Q是样本的所有非单词的首尾集合;
采用多分类交叉熵分别计算词性标注、命名实体识别的损失函数loss_pos、loss_ner:其中,C1是词性类别集合,
其中,C2是实体类别集合,