欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021106607060
申请人: 杭州电子科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于知识图谱和胶囊网络的小样本意图识别方法,其特征在于包括以下步骤:步骤(1)获取银行业务数据集并进行预处理,根据数据集中每条语句所属的意图,将数据集划分为10个子业务模块;

步骤(2)确定模型需识别的同业务意图和跨业务意图,并且设置训练规则;

步骤(3)建立基于知识图谱和胶囊网络的小样本意图识别架构,确定网络组成部分以及层数和维度,得到小样本意图识别模型;

步骤(4)将步骤(1)预处理后的语句输入双向LSTM模型,使语句中单词的表示能够获取语句的前后文信息;

步骤(5)利用实体识别工具识别出步骤(1)预处理后的语句中存在的实体,并且映射至知识图谱中对应的实体,抽取该实体相关联的知识表示向量;

步骤(6)利用注意力机制计算步骤(5)抽取到的每一个知识表示向量,与语句中当前实体之间的关联程度;

步骤(7)根据步骤(4)中前一时刻的双向LSTM的隐藏层状态和当前时刻单词输入,得到上下文关联向量,并计算该向量与当前实体之间的关联程度;

步骤(8)先将知识表示向量与对应关联度相乘,后将上下文关联向量与对应影响权重值相乘,将两个相乘结果相加后与原先实体表示进行融合,得到新的实体表示;

步骤(9)利用胶囊网络将低层次的语句语义表示,映射到高维的意图特征表示;

步骤(10)基于步骤(4)至步骤(8)对未知语句进行操作后,得到未知语句表示,结合步骤(9)中的高维意图特征表示,对未知语句进行分类;

步骤(11)将预测的意图与语句对应的真实意图进行对比,计算损失函数,迭代更新网络模型中的参数;

步骤(12)将需测试的目标意图与对应的语句输入训练好的小样本意图识别模型,正确获得语句表示和高维意图特征表示,结合该高维意图特征表示对未知语句进行分类,输出未知语句对应的意图;

步骤(3)所述的小样本意图识别具体过程如下:小样本意图识别模型主要由3个部分组成,分别为知识图谱增强语义表示层、动态路由映射层以及查询集语句分类计算层,每层的维度为256;知识图谱增强语义表示层由知识图谱和双向LSTM组成,动态路由映射层由胶囊网络组成;查询集语句分类计算层由多层感知机组成。

2.根据权利要求1所述的一种基于知识图谱和胶囊网络的小样本意图识别方法,其特征在于步骤(1)具体过程如下:

(1‑1)采用单领域银行业务数据集banking77,该数据集采样于银行线上真实的客服问答场景,并且已经通过手动转录的方式将用户的话语转换为文本;该数据集中共包含银行业务的77个意图和13083条语句,涉及了用户在银行中办理的大部分业务,并且正确标记了每一句语句对应的意图;

(1‑2)根据银行业务划分准则,又对77个意图划分成10个子业务,分别有“银行卡业务,汇率业务,转账业务,存款业务,账户信息业务,手续费业务,取现业务,货币或银行卡兼容性业务,第三方设备业务,付款业务”。

3.根据权利要求1所述的一种基于知识图谱和胶囊网络的小样本意图识别方法,其特征在于步骤(2)具体流程如下:

(2‑1)设置训练规则,将提供给模型训练的意图称为“源领域意图”,将模型需要分类的意图称为“目标域意图”;在学习分类目标域意图的过程中,将提供给模型训练的样本称为“支持集”,模型需测试的样本称为“查询集”;假设共有C个意图,在支持集中每个意图有K个样本,在查询集中每个意图有L个样本,并且支持集与查询集中的样本均不重合;模型需要在支持集的C×K个样本上训练后,可以辨别查询集中的C×L个样本,称该类问题为“C‑wayK‑shot”小样本分类问题;

(2‑2)假设当前的小样本分类目标为辨别“activate_my_card”和“card_swallowed”,这2个意图构成“目标域意图”;每个意图提供K个样本进行训练,L个样本进行测试,把模型在目标域意图的训练和测试过程划入“元学习的测试阶段”;在元学习的训练阶段,每次从源领域意图集合中随机抽取2个与目标意图(activate_my_card,card_swallowed)不重合的意图构成1个训练任务的分类目标;训练任务的目标为分类“card_arrival”和“card_linking”;在一个训练任务的构建过程中,首先从这2个意图对应的样本中分别抽取K个构成“支持集S”,随后在2个意图的剩余样本中分别随机抽取L个构成“查询集Q”;模型经1个训练任务上的支持集S训练后,在查询集Q上通过计算分类准确率得到模型的误差,根据该误差更新整体参数。

4.根据权利要求1或2或3所述的一种基于知识图谱和胶囊网络的小样本意图识别方法,其特征在于步骤(4)具体过程如下:(4‑1)首先使用预训练的词向量模型将语句转换为对应的词向量矩阵X=[x1,x2,...,xT],其中语句的长度为T,xi的维度为Dw;

(4‑2)随后将语句输入双向LSTM,在LSTM网络的神经元内部共有3个门用于控制细胞状态ct和隐藏层状态ht的更新,分别为输入门、遗忘门和输出门;以从左往右的单向LSTM网络在t时刻的更新为例,3个门机制的计算和状态的更新分别如下所示:其中,Wi,Wf,Wo,Wc,Ui,Uf,Uo,Uc分别为需要学习的权重矩阵,xt为t时刻的单词词向量表示, 和 分别表示t‑1时刻和t时刻LSTM网络的隐藏层状态表示,ct‑1和ct分别表示t‑1时刻和t时刻LSTM网络的细胞状态表示;

(4‑3)将从左往右和从右往左的LSTM网络在当前t时刻的隐藏层状态拼接,得到双向LSTM的隐藏层状态表示ht,拼接过程如下所示:

5.根据权利要求4所述的一种基于知识图谱和胶囊网络的小样本意图识别方法,其特征在于步骤(5)具体过程如下:

(5‑1)首先利用实体识别工具coreNLP识别出语句X中的实体ei,随后利用字符串之间的精确匹配将ei映射到知识图谱中对应的实体gi;抽取gi在知识图谱中关联的所有类别信息,并将每个类别信息对应的知识表示向量vi添加进ei的知识向量集合V(xt)中。

6.根据权利要求5所述的基于知识图谱和胶囊网络的小样本意图识别方法,其特征在于步骤(6)具体过程如下:

(6‑1)采用双线性函数计算知识表示向量vi的影响权重值ati,获得抽取到的每个知识表示向量vi与当前单词的关联度,如下所示:其中Wv为需要学习的权重矩阵,vi∈V(xt),ht为由步骤(4‑3)中利用双向LSTM模型得到的t时刻单词对应的隐藏层状态表示。

7.根据权利要求6所述的一种基于知识图谱和胶囊网络的小样本意图识别方法,其特征在于步骤(7)具体过程如下:

(7‑1)首先将前一时刻LSTM网络的隐藏层状态ht‑1和当前实体的词向量表示xt输入sigmoid门函数,来计算有多少信息输出;随后将得到的bt与当前时刻LSTM细胞状态ct进行哈达玛乘积操作得到上下文影响向量st,最后利用双线性函数计算上下文影响向量st对当前时刻LSTM隐藏层状态ht的影响权重值βt;如下所示:bt=σ(Wbht‑1+Ubxt)st=bt⊙tanh(ct)

其中Wb、Ub和Ws是需要学习的权重矩阵。

8.根据权利要求7所述的一种基于知识图谱和胶囊网络的小样本意图识别方法,其特征在于步骤(8)具体过程如下:

(8‑1)首先将步骤(4)中得到的每个知识表示向量vi和步骤(7)得到的上下文影响向量st进行融合,得到新的实体表示mt,随后结合原先t时刻隐藏层状态表示ht得到 计算过程如下所示:

其中,要求 该条件起到控制知识表示向量和上下文向量影响程度大小比较的作用,支持集中的语句经步骤(4)至步骤(8)操作后,得到新的语句表示

9.根据权利要求8所述的一种基于知识图谱和胶囊网络的小样本意图识别方法,其特征在于步骤(9)具体过程如下:

(9‑1)随机初始化意图i,与该意图对应支持集的一个样本语句j之间的连接权重;随后使用softmax函数进行归一化,使得类别i与该类中样本语句之间的耦合系数总和为1,计算过程如下所示:

其中,wij表示意图i与对应支持集中的一个样本语句j之间的连接权重,K表示意图i对应支持集中的语句数目,wim表示意图i与对应支持集中的任意一个样本语句m之间的连接权重;

(9‑2)通过加权聚合操作得到高维胶囊输入ci,计算过程如下所示:其中K表示一个意图在支持集中对应的样本语句数目,bij表示经softmax函数归一化后的连接权重, 为语句经步骤(4)至步骤(8)后得到的低维语句表示,ci为语句经聚合操作后得到的高维胶囊输入;

(9‑3)通过胶囊网络的squash激活函数对高维胶囊输入ci进行压缩,得到意图表示该压缩方式可使向量的长度压缩在0‑1之间并且方向保持不变,计算过程如下所示:(9‑4)最后胶囊网络通过自顶向下的方式,动态地调节连接权重wij,即当语句 对于当前意图表示 影响较大时,对应的权重wij会被调节地更大;反之则会减小对应的连接权重wij;调节过程如下所示:

10.根据权利要求9所述的一种基于知识图谱和胶囊网络的小样本意图识别方法,其特征在于步骤(10)具体过程如下:

(10‑1)为了计算查询集中1条语句q与各个意图 之间的相似度,首先经过步骤(4)至步骤(8)操作语句q,得到查询语句向量(10‑2)将查询语句向量 与各个意图 拼接随后输入MLP多层感知机获取各个意图的预测分数,计算方式如下:

其中, 是一个可训练的权重转置矩阵,b是对应的偏置项;采用tanh作为激活函数;

在多层感知机输出端采用softmax函数进行归一化操作。