欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018107564520
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度学习的中文分词方法,其特征在于,包括如下步骤:S1,对大规模语料集D进行字面字频统计,基于连续词袋模型和层级归一化训练方法,将语料集D中的每个字初始化为字面向量,将获取得到的字面向量按索引保存到字典V中;

S2,将训练语料逐句转化为固定长度的向量,送入深度学习模型中,并对字典V中的字面向量进行精化更新,获取携带上下文语义的特征向量和包含字性特征的向量;

S3,对每个训练句,在逐字进行训练时,根据预设的最大词长切分出所有以当前目标字结尾的候选词,将精化后的特征向量融合成每一个候选词的词向量,递增的将候选词与先前的分词历史连接起来,利用集束搜索的方法进行动态分词。

2.如权利要求1所述的基于深度学习的中文分词方法,其特征在于,步骤S1具体包括:S11,提取每个汉字的基本特征,通过遍历语料集D进行字典V的构建,字典V面向训练语料记录字的字面、字频和对应的字嵌入向量;

S12,字典V基于字频构建一棵完全的Huffman树,字典V中的字都处于树的叶子结点,通过辅助的hash表建立快速索引与查找机制;

S13,基于连续词袋模型和层级归一化的思想将语料集D中的每个字初始化为字面向量,并构造得出系统目标函数其中,目标字ω为窗口中心,lω为从根结点到目标字ω的路径,dω为从根结点到目标字ω的编码,xω为目标字ω窗口内的上下文字面向量均值, 为计算上下文字面向量均值xω在当前分支结点携带的参数值;

S14,定义训练以对路径结点的遍历为一个迭代周期,训练在一个迭代周期内以梯度对参数θ进行更迭,同时累积语义影响因子 一个迭代周期结束后,更新目标字ω的窗口内的各个上下文环境字面向量,目标字ω的环境字面向量 为:其中,μ表示学习率。

3.如权利要求1所述的基于深度学习的中文分词方法,其特征在于,步骤S2具体包括:S21,对于当前序列时刻t,根据索引从字典V执行查找表操作,获取目标字ω的初始向量S22,根据索引取出目标字ω窗口内上下文的初始向量

w表示窗口宽度,使用门限组合神经网络方法,将窗口内的环境字向量表达为一个组合向量,记为S23,对于当前序列时刻t,使用门限组合神经网络方法,依照步骤S22的方法计算得到前1~t-1时刻隐态的选择性历史输出 同时计算t+1~n时刻隐态的选择性未来输出S24,在当前序列时刻t,以目标字ω的初始向量 与组合向量 作为输入,分别送入到深度学习模型中,产生历史特征输出 和未来特征输出S25,对当前序列时刻t上的历史特征输出 和未来特征输出 进行线性组合形成ht,使用tanh激活函数产生网络输出 将网络输出 更新到字典V中,获得融入上下文语义的精化字向量

其中,W(o)∈Rd*2d与偏置向量b(o)∈Rd为各个当前序列时刻上的共享参数;

S26,使用训练集β逐句逐字查表获取融入上下文语义的精化字向量 构造句子矩阵表示作为观态矩阵,使用viterbi算法展开迭代训练,定义句子得分公式,确定最佳的标注序列:其中,Ayi,yi+1为状态转移矩阵,输出的标注序列选择使用{BIES}标记规则集,其中B表示是一个词的第一个字,I表示是一个词中间的字,E表示是一个词的最后一个字,S表示是单字成词的,将{BIES}标记规则集与词性标注标签组合以得到字符序列中的最佳标签转移矩阵

4.如权利要求3所述的基于深度学习的中文分词方法,其特征在于,门限组合神经网络方法包括如下步骤:步骤1,定义有w个需要组合的字符向量,分别为v1,v2…vw,其中v1,v2…vw∈Rd,定义权值(r) d*d (r) d矩阵W ∈R 和偏置向量b ∈R 为共享参数,定义重置门rl,通过重置门rl计算组合记忆的概率,重置门rl的计算公式为:rl=σ(W(r)·vl+b(r))

其中,1≤l≤w;

步骤2,在字符组合中,使用重置门rl计算各个字符向量v1,v2…vw聚集成目标词所产生的语义特征 语义特征 的计算公式为:其中,权值矩阵W(l)∈Rd*d和偏置向量b(l)∈Rd为共享参数;

步骤3,定义更新门zl(1≤l≤w+1)为d维的归一化向量,用于表达融合各个字符向量v1,v2…vw和语义特征 的更新概率,更新门zl为:(z) d*d

其中,使用因子矩阵W ∈R 作为共享参数;

步骤4,利用更新门zl对字符向量v1,v2…vw和语义特征 进行选择性的混合与组合处理,聚集成词且得到定长向量vw,其中vw∈Rd,vw的计算公式为:其中,1≤l≤w+1。

5.如权利要求4所述的基于深度学习的中文分词方法,其特征在于,步骤S22具体包括:S22.1定义重置门rl,计算对目标字ω的影响概率:其中,1≤l≤w,权值矩阵W(r)∈Rd*d和偏置向量b(r)∈Rd为各个字符向量间的共享参数;

S22.2,利用重置门rl,计算窗口内各个字符向量对目标字ω的聚集影响的语义特征其中, 为目标字ω窗口内上下文的初始向量;

S22.3,定义更新门zl(1≤l≤w+1)为d维的归一化向量,用于表达融合各个字符向量v1,v2…vw和语义特征 的更新概率,更新门zl为:其中,因子矩阵W(z)∈Rd*d为共享参数;

S22.4,利用更新门zl融合目标字ω窗口内上下文的初始向量 和语义特征通过选择性的混合与组合处理,聚集得到组合向量其中,1≤l≤w。

6.如权利要求3所述的基于深度学习的中文分词方法,其特征在于,在步骤S24中,送入深度学习模型后包括如下步骤:步骤A1,使用门限组合神经网络方法,执行对当前输入vt的窗口上下文环境内字符序列的组合计算,得到窗口上下文的组合向量,记为步骤A2,使用门限组合神经网络方法,执行对当前序列时刻t之前所有历史隐态输出的组合计算,得到历史隐态输出,记为步骤A3,在序列遍历的每一个当前序列时刻t上,定义一个重置门rt计算历史隐态输出对当前输入vt产生的记忆概率,重置门rt的计算公式为:其中,权值矩阵W(r)∈Rd*d与偏置向量b(r)∈Rd为各个当前序列时刻上的共享参数;

步骤A4,在序列遍历的每一个当前序列时刻t上,对当前输入vt定义一个更新门zt用以计算在历史隐态输出 的作用下,受窗口上下文的组合向量 影响产生的更新概率,更新门zt的计算公式为:其中,权值矩阵W(z)∈Rd*d与偏置向量b(z)∈Rd为各个当前序列时刻上的共享参数;

步骤A5,在序列遍历的每一个当前序列时刻t上,对当前输入vt通过重置门rt强化在历史隐态输出 作用下受组合向量 影响产生的能量值其中,权值矩阵W(c)∈Rd*d与偏置向量b(c)∈Rd为各个当前序列时刻上的共享参数;

步骤A6,在序列遍历的每一个当前序列时刻t上,通过更新门zt计算出当前输入vt受历史隐态输出 影响下的隐态输出ht,其中,zt为更新门。

7.如权利要求6所述的基于深度学习的中文分词方法,其特征在于,步骤S3具体包括:S31,在每一个当前序列时刻t上,根据预设的最大词长切分出所有以当前目标字结尾的候选词,对于每一个候选词,查表获取候选词中各字的特征向量 和对应的标签转移向量 线性组合为字符向量vl;

其中,1≤l≤L,L为当前候选词中包含的字符数;

S32,使用门限组合网络方法,将候选词包含的字符向量vl融合为一个候选词向量S33,将融合好的候选词向量选词向量 与一个共享的权值向量参数u内积,计算得到一个词得分S34,将候选词向量 送入到深度学习模型中,经过编码获取当前候选词的历史特征,历史参照 使用集束搜索算法,根据预设的集束宽度k,在句子前向遍历的每个当前序列时刻t上,始终记录存储得分较好的k个历史切分,其中切分句尾词的隐态输出为ht;

S35,在序列遍历的每一个当前序列时刻t上,计算出隐态输出ht;

S36,以产生的ht作为输入,使用tanh激活函数为t+1时刻可能产生的候选分词提供预测,预测值Pt+1为:Pt+1=tanh(W(p)·ht+b(p))

其中,W(p)∈Rd*d与偏置向量b(p)∈Rd为各个当前序列时刻上的共享参数;

S37,将候选词向量 输入到深度学习模型中,基于深度学习模型的输出ht计算获得对下一个词的预测Pt+1,深度学习模型能够获取到之前整个分词历史中的记忆信息,计算一个序列的连接得分linkScore(yt+1):linkScore(yt+1)=Pt+1·yt+1;

S38,设置集束宽度k,在每一步取得分最高的k个结果保留,新的输入在保留的分割上继续操作,利用完整的分割历史,直接对分词结果建模,定义经过深度学习模型预测产生词序列y[1:m],切分的词序列得分函数构造为:S39,将给定的字符序列xi的正确分词序列表示为yi,定义用于预测分段句子的结构化间隔损失来构造损失函数,反向更新参数。

8.如权利要求7所述的基于深度学习的中文分词方法,其特征在于,步骤S35具体包括:S35.1,在序列遍历的每一个当前序列时刻t上,定义一个重置门rt,计算历史隐态输出对当前输入候选词向量 产生的记忆概率:其中,权值矩阵 与偏置向量 为各个当前序列时刻上的共享参数;

S35.2,在序列遍历的每一个当前序列时刻t上,对当前输入候选词向量 定义一个更新门zt,计算在历史隐态输出 的作用下产生的更新概率;

其中,权值矩阵 与偏置向量 为各个当前序列时刻上的共享参数;

S35.3,在序列遍历的每一个当前序列时刻t上,对当前输入候选词向量 通过重置门rt强化在历史隐态输出 作用下产生的能量值其中,权值矩阵 与偏置向量 为各个当前序列时刻上的共享参数;

S35.4,在序列遍历的每一个当前序列时刻t上,通过更新门zt计算出当前输入候选词向量 受历史隐态输出 影响下的隐态输出ht:

9.如权利要求7所述的基于深度学习的中文分词方法,其特征在于,步骤S39具体包括如下步骤:S39.1,对于给定的训练句序列sen[1:n],经过模型预测产生词序列y[1:m],分词后的词序列得分函数为:S39.2,训练采用最大间隔法,将给定的训练句序列sen[1:n]正确的分词序列表示为y(i),t,模型预测的分词序列表示为 定义结构化间隔损失为:其中,μ为衰减参数;

S39.3给定训练集β,加入一个2范数项的损失函数,通过损失函数,反向更新参数:其中: