欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022112731873
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于局部和全局字符表征增强的中文命名实体识别方法,其特征在于:所述方法包括如下步骤:Step1、将在语料上所训练的字符向量作为字符的初始嵌入:将每个字符都映射到一个密集向量表示,得到每个句子的字符嵌入;

Step2、将字符拆分为形旁和其他的字符成分,然后用序列特征编码器来提取字符的字形序列特征;

Step3、将单个字符视为二维图像,通过图像特征编码器来获得字符的字形结构特征;其中汉字所对应的图像通过的多个卷积层,捕获低级别的图形特征,再使用自适应池化操作并应用群卷积映射到最终字形结构特征;

Step4、采用自编码机制,对字符的字形结构特征、字形序列特征和预训练的字符嵌入三种向量进行融合得到字符局部表征;

Step5、首先在领域语料库上使用word2vec的Skip-Gram模型训练一个领域词典,然后,对每个字符在词典中进行查询匹配,得到若干个词集合,再通过加权分配权并拼接最后得到字符的全局表征;

Step6、在获得字符的局部表征和全局表征后,利用交互门控机制对两者的特征进行信息筛选,得到综合表征;之后将综合表征送入到Bi-LSTM进行上下文编码,然后CRF被用作解码层,来得到输出结果的标签;

所述Step4中,首先将字符的字形结构特征、字形序列特征和预训练的字符嵌入拼接起来,再通过变换层得到一个自动融合的潜在向量,然后尝试从自融合的潜在向量重建最初拼接的向量,最后,通过计算原始向量和重构向量之间的欧氏距离,使用均方误差来计算损失,获得经过中间层压缩但没有损耗的信息;

所述Step5包括如下步骤:

Step5.1、字符ci在一个使用Skip-Gram模型预训练好的词典D中进行查询匹配;如果D中的某个词w中包含有字符ci,则根据字符出现在该词中的不同位置情况,分别将其纳入到四个词集B(ci),M(ci),E(ci),S(ci)中;具体来说,如果ci出现在某个词w的开头位置,就将该词w归类到词集B(ci);如果ci出现在某个词w的中间位置,就将该词w归类到词集M(ci)中;如果ci出现在某个词w的尾部,就将该词w归类到词集E(ci);如果ci和某个词w相同,即字符为一个独立的词,就将该词w归类到词集S(ci);

Step5.2、统计出字符ci匹配到的某个词w在训练数据中出现的次数m,以及字符ci匹配到的所有的词在训练集数据中出现的总次数M,则字符ci匹配到的某个词w的频率为:Step5.3、将匹配词集B(ci)中每一个词的词向量乘以其权重并加和,得到字符ci作为词语起始字符的表征其中,Ed(w)表示词w的嵌入向量;

Step5.4、循环执行Step5.3中同样的方法,获得字符ci作为词语中间字符的表征作为词语末尾字符的表征以及作为独立词语的表征Step5.5、将字符ci的四种表示组合起来得到每个字符的全局表征dg表示字符的全局表征维度大小;

2.根据权利要求1所述的基于局部和全局字符表征增强的中文命名实体识别方法,其特征在于:所述Step1中,将输入句子视为字符序列s={c1,c2,···,cn},然后将每个字符ci都映射到一个密集向量表示得到每个句子的字符嵌入:其中ec表示字符嵌入查找表。

3.根据权利要求1所述的基于局部和全局字符表征增强的中文命名实体识别方法,其特征在于:所述Step2中,首先对数据集里的每个字使用拆字的字典来构建包含每个字的组成部分查询表;然后将字符拆分的序列送入到卷积神经网络CNN中提取字符的字形序列特征,再使用残差网络来优化卷积层,缓解神经网络深度加深的梯度消失问题,最后,利用最大池和全连通层得到字形序列特征嵌入。

4.根据权利要求1所述的基于局部和全局字符表征增强的中文命名实体识别方法,其特征在于:所述Step2包括如下步骤:Step2.1、将第i个字符ci拆分为K个部分,如果某个字符成分的长度不足K,则将空缺位置用“”来填充,然后对每个字符成分进行随机嵌入操作Er:Step2.2、将所获得字符的随机嵌入序列送入卷积核大小为3的卷积操作conv3,得到字符隐向量序列Step2.3、将该字符隐向量序列中每一个字符成分所对应的向量进行max-pooling,然后送入一个全连接层fc进行维度变换,得到该字符的字形序列嵌入该字符的字形序列嵌入维度大小为do;

5.根据权利要求1所述的基于局部和全局字符表征增强的中文命名实体识别方法,其特征在于:所述Step3中,字形结构特征能从字符图像中获取丰富的象形文字信息,以提升中文命名实体识别模型性能;对于不同字体类型的图像,将其拼接到一起来表示该字的结构图像,将字符图片通过多个卷积层和多个输出通道,捕获低级别的字形结构特征。

6.根据权利要求1所述的基于局部和全局字符表征增强的中文命名实体识别方法,其特征在于:所述Step3包括如下步骤:Step3.1、将ci字符转换为对应的6种不同字体的灰度图像其中为第j种字体的大小为12×12的8bit灰度图像,将不同图像矩阵进行拼接,得到字符ci的结构图像其中concat表示拼接操作;

Step3.2、然后,使用卷积核大小为5×5,有384个输出通道的卷积操作conv1,捕获低级别的图形特征,得到隐藏层向量Step3.3、使用模板大小为4×4的maxpooling操作,将的分辨率从8×8降低到2×2;再通过一个卷积核大小为1×1和ds个输出通道的卷积操作conv2,得到隐藏层向量Step3.4、最后,将送入卷积核大小为2的群卷积操作groupconv,并进行维度转化操作reshape,得到该字符的字形结构表征该字符的字形结构嵌入维度大小为ds;

reshape表示一个维度变换将2维向量变成一维的。

7.根据权利要求1所述的基于局部和全局字符表征增强的中文命名实体识别方法,其特征在于:所述Step4中,使用自编码网络来对字符的字形结构特征、字形序列特征和预训练的字符嵌入三种向量进行融合,通过最大化不同粒度输入之间的相关性,鼓励模型提取多粒度特征;具体的,所述Step4包括如下步骤:Step4.1、首先将字形结构特征字形序列特征和字符嵌入进行拼接,得到初始拼接向量其中,ds表示字符的字形结构嵌入维度大小,do表示字符的字形序列嵌入维度大小,dc表示字符的预训练嵌入维度大小;

Step4.2、然后,将进行以下两次线性变换和激活,得到隐向量

Step4.3、用重构最初的拼接向量,得到重构向量

Step4.4、使用均方误差损失函数计算和之间的损失Lossf:

Step4.5、将损失加入主模型序列标注模型中,通过NER下游任务激励以上重构过程,获得经过中间层压缩但没有损耗的信息,将中间层的隐向量作为融合的局部表征。

8.根据权利要求1所述的基于局部和全局字符表征增强的中文命名实体识别方法,其特征在于:所述Step6中,由于局部表征相比全局表征而言会存在信息冗余,因此利用交互门控机制对两者的特征进行信息筛选,从而得到合理的综合表征,由于句子中的上下文信息有助于序列建模,因此使用能捕获文本双向信息的双向LSTM网络来提取句子上下文特征,条件随机场CRF被用作解码层,将经过上下文编码器编码后的向量将送到CRF中,通过最小化负最大似然函数找到概率最大的标签序列。