欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024112529895
申请人: 成都信息工程大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种文本命名实体识别模型,其特征在于,包括嵌入层、多层感知机、全局上下文增强模块、词对相对位置编码注意力模块、分层特征融合模块和预测层;

所述嵌入层用于根据文本数据生成文本嵌入表示;

所述多层感知机用于将文本嵌入表示转换为二维词对矩阵;

所述全局上下文增强模块用于根据二维词对矩阵生成全局上下文增强表示;所述全局上下文增强模块包括掩码矩阵、稀疏卷积层和归一化层;

所述掩码矩阵用于控制稀疏卷积层的计算区域;

所述稀疏卷积层用于根据掩码矩阵对二维词对矩阵的不同位置进行上下文捕获,获取词对之间的上下文信息;

所述归一化层用于以二维词对矩阵作为条件对词对之间的上下文信息进行全局增强,得到全局上下文增强表示;

所述词对相对位置编码注意力模块用于根据二维词对矩阵生成词对相对位置编码注意力表示;

所述分层特征融合模块用于根据全局上下文增强表示、词对相对位置编码注意力表示和二维词对矩阵生成得分矩阵;

所述预测层用于根据得分矩阵输出命名实体预测结果。

2.根据权利要求1所述的一种文本命名实体识别模型,其特征在于,所述嵌入层包括BERT层、Word2Vec层、双向长短时记忆网络层和拼接层;

所述BERT层用于根据文本数据生成每个词的BERT嵌入表示;

所述Word2Vec层用于根据文本数据生成每个词的词嵌入表示;

所述双向长短时记忆网络层用于根据文本数据生成每个词的字符嵌入表示;

所述拼接层用于将每个词的BERT嵌入表示、每个词的词嵌入表示和每个词的字符嵌入表示进行加和,形成文本嵌入表示。

3.根据权利要求1所述的一种文本命名实体识别模型,其特征在于,所述掩码矩阵具体为:其中,为掩码矩阵,为sigmoid函数,为掩码参数矩阵,均为随机Gumbel噪声,为温度参数。

4.根据权利要求1所述的一种文本命名实体识别模型,其特征在于,所述稀疏卷积层具体为:其中,为词对之间的上下文信息中第i行、第j列的上下文信息,为稀疏卷积的卷积核,为二维词对矩阵中第i行、第j列的位置,为掩码矩阵中第i行、第j列的掩码元素。

5.根据权利要求1所述的一种文本命名实体识别模型,其特征在于,所述归一化层具体为:其中,为全局上下文增强表示中第i行、第j列的全局上下文增强信息,为词对之间的上下文信息中第i行、第j列的上下文信息,为二维词对矩阵M的均值,为二维词对矩阵M的标准差,均为训练参数。

6.根据权利要求1所述的一种文本命名实体识别模型,其特征在于,所述词对相对位置编码注意力模块包括嵌入表和注意力机制层;

所述嵌入表用于保存每个词对之间的相对位置差分配的词对相对位置编码;

所述注意力机制层用于根据二维词对矩阵计算词对之间的相对位置差,并根据词对之间的相对位置差从嵌入表中查询对应的词对相对位置编码,根据词对相对位置编码生成词对相对位置编码注意力表示。

7.根据权利要求6所述的一种文本命名实体识别模型,其特征在于,所述注意力机制层具体为:其中,为词对相对位置编码注意力表示中第i行、第j列的词对相对位置注意力信息,为二维词对矩阵中第i行、第j列的注意力权重,均为权重训练参数,为二维词对矩阵中第i行、第j列的位置,n为所有候选实体的总数,k为控制候选实体的遍历序号,v为训练权重向量,T为转置,为二维词对矩阵第i行、第j列的词对之间的相对位置差。

8.根据权利要求1所述的一种文本命名实体识别模型,其特征在于,所述分层特征融合模块具体为:其中,为得分矩阵,为二维词对矩阵,为全局上下文增强表示,为sigmoid函数,为垂直池化操作,为水平池化操作,为哈达玛积,为串联操作,为外积操作。

9.一种文本命名实体识别方法,其特征在于,应用于如权利要求1至7任一项所述的一种文本命名实体识别模型,包括以下步骤:获取待识别的文本数据;

将待识别的文本数据输入文本命名实体识别模型中,以获取文本命名实体识别结果。