欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022103373959
申请人: 齐鲁工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-12-24
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向消防安全知识智能问答的文本语义匹配方法,其特征在于,该方法通过构建并训练文本嵌入模块、输入编码模块、多粒度交互模块、特征融合模块和预测模块所构成的文本语义匹配模型,实现对文本信息的多层次文本特征提取,同时通过最大池化、平均池化以及多种方法匹配机制获得文本语义的最终匹配表示向量,进而判定文本的匹配程度;

具体如下:

文本嵌入模块用于构建字词映射转换表、构建拼音映射转换表、构建部首映射转换表、构建字词向量映射层、构建拼音向量映射层、构建部首向量映射层;

输入编码模块对文本嵌入模块得到的结果进行编码操作,得到文本的字、词粒度上下文信息以及拼音、部首粒度语义信息;

多粒度交互模块在同一文本内部、在文本间进行编码操作,得到增强后的文本多粒度特征、增强后的文本多粒度交互特征;

特征融合模块对增强后的文本多粒度特征与增强后的文本多粒度交互特征进行特征聚合与匹配操作,并将所有的匹配向量进行联接得到最终匹配表示向量;

预测模块将最终匹配表示向量映射为0‑1区间上的值作为文本匹配相似度,将其与设定的阈值进行比较,判定文本是否匹配。

2.根据权利要求1所述的面向消防安全知识智能问答的文本语义匹配方法,其特征在于,所述文本嵌入模块用于构建字词映射转换表、构建拼音映射转换表、构建部首映射转换表、构建字词向量映射层、构建拼音向量映射层、构建部首向量映射层。

3.根据权利要求1所述的面向消防安全知识智能问答的文本语义匹配方法,其特征在于,所述输入编码模块的特征如下:输入编码模块负责完成字词粒度上下文信息与拼音、部首粒度语义信息的提取工作,具体为:以文本P为例,该模块接收文本P的字嵌入表示、拼音嵌入表示、部首嵌入表示、词嵌入表示首先通过双向长短期记忆网络BiLSTM处理得到文本P的字、拼音、部首、词粒度上下c p r w文信息,记为P 、P、P和P ;其中,对于文本P的拼音、部首粒度上下文信息,进一步通过全连接层进行升维操作,使其维数和文本P的字、词粒度上下文信息相同,得到文本P的拼音粒度语义信息和其部首粒度语义信息,记为 和 具体公式如下:c

其中,公式(1)表示使用双向长短期记忆网络BiLSTM对字嵌入进行编码,其中,P表示字粒度上下文信息, 表示txt P_char_embed,其维度为300,ic表示第i个位置的字向量表示w在文本中的相对位置;公式(2)表示使用双向长短期记忆网络BiLSTM对词嵌入进行编码,P表示词粒度上下文信息, 表示txtP_word_embed,其维度为300,iw表示第i个位置的词向量表示在文本中的相对位置;公式(3)表示先使用双向长短期记忆网络BiLSTM对拼音嵌入进行编码,得到拼音粒度上下文信息,之后通过全连接层得到拼音粒度语义信息, 表示txt P_pinyin_embed,其维度为70,ip表示第i个位置的拼音向量表示在文本中的相对位p置,P表示拼音粒度上下文信息, 表示第i个位置拼音粒度语义信息,N表示拼音、部首粒p度语义信息的序列长度,Pi 表示第i个位置拼音粒度上下文信息, 表示拼音粒度语义信p p息,W、b分别表示全连接层中拼音粒度上下文信息的权重和偏置,这两个都是可训练参数;

公式(4)表示先使用双向长短期记忆网络BiLSTM对部首嵌入进行编码,得到部首粒度上下文信息,之后通过全连接层得到部首粒度语义信息,公式(4)与公式(3)中符号含义基本一致,区别在于, 表示txt P_radical_embed,其维度为70,ir表示第i个位置的部首向量表r示在文本中的相对位置,P 表示部首粒度上下文信息, 表示第i个位置部首粒度语义信r r r息,Pi表示第i个位置部首粒度上下文信息, 表示部首粒度语义信息,W、b分别表示全连接层中部首粒度上下文信息的权重和偏置;同理,对文本Q进行与文本P类似的处理,可得c w字、词粒度上下文信息以及拼音、部首粒度语义信息,记为Q、Q、

4.根据权利要求3所述的面向消防安全知识智能问答的文本语义匹配方法,其特征在于,所述多粒度交互模块的构建过程具体如下:同一文本内部使用两层编码结构学习增强后的文本多粒度特征:首先为方便后续的说明,先进行如下定义,定义软对齐注意力记为SA,如公式(5)所示:以文本P为例,假设Xi表示文本P第i个位置的字嵌入表示,yj表示文本P第j个位置的词嵌入表示,那么根据公式(5),Sij表示文本P第i个位置的字嵌入表示与第j个位置的词嵌入表示之间的注意力权重, 表示对注意力权重做softmax操作, 表示文本P第i个位置的字嵌入表示可由文本P所有位置的词嵌入表示加权求和进行重新表示,M表示文本P字、词嵌入表示的序列长度, 表示文本P第j个位置的词嵌入表示可由文本P的所有位置的字嵌入表示加权求和进行重新表示;

后续说明中,使用SA符号代表公式(5)的操作;

以文本P为例,描述同一文本内部使用两层编码结构学习增强后的文本多粒度特征的具体步骤:第一层编码结构将公式(1)表示的文本P的字粒度上下文信息与公式(3)表示的文本P的拼音粒度语义信息使用软对齐注意力得到文本P的浅层字音、音字特征,记为如公式(6)所示:公式(1)表示的文本P的字粒度上下文信息与公式(4)表示的文本P的部首粒度语义信息使用软对齐注意力得到文本P的浅层字部、部字特征,记为 如公式(7)所示:公式(2)表示的文本P的词粒度上下文信息与公式(3)表示的文本P的拼音粒度语义信息使用软对齐注意力得到文本P的浅层词音、音词特征,记为 如公式(8)所示:公式(2)表示的文本P的词粒度上下文信息与公式(4)表示的文本P的部首粒度语义信息使用软对齐注意力得到文本P的浅层词部、部词特征,记为 如公式(9)所示:同理,对文本Q进行与文本P类似的处理,可得文本Q的浅层字音、词音、字部、词部、音字、音词、部字、部词特征,分别记为第二层编码结构将公式(6)表示的文本P的浅层字音与公式(8)表示的文本P的浅层词音特征使用软对齐注意力得到文本P的深层字音、词音特征,记为 如公式(10)所示:将公式(7)表示的文本P的浅层字部与公式(9)表示的文本P的浅层词部特征使用软对齐注意力得到文本P的深层字部、词部特征,记为 如公式(11)所示:将公式(6)表示的文本P的浅层音字与公式(8)表示的文本P的浅层音词特征使用软对齐注意力得到文本P的深层音字、音词特征,记为 如公式(12)所示:将公式(7)表示的文本P的浅层部字与公式(9)表示的文本P的浅层部词特征使用软对齐注意力得到文本P的深层部字、部词特征,记为 如公式(13)所示:同理,对文本Q进行与文本P类似的处理,可得文本Q的深层字音、词音、字部、词部、音字、音词、部字、部词特征,分别记为为了增强文本的语义表示,利用残差机制,把公式(1)表示的文本P的字粒度上下文信息、公式(6)表示的文本P的浅层字音特征、公式(7)表示的文本P的浅层字部特征、公式(10)表示的文本P的深层字音特征以及公式(11)表示的文本P的深层字部特征合并得到增强后c'文本P的字粒度特征,记为P ,如公式(14)所示;把公式(2)表示的文本P的词粒度上下文信息、公式(8)表示的文本P的浅层词音特征、公式(9)表示的文本P的浅层词部特征、公式(10)表示的文本P的深层词音特征以及公式(11)表示的文本P的深层词部特征合并得到增强后w'文本P的词粒度特征,记为P ,如公式(15)所示;把公式(3)表示的文本P的拼音粒度语义信息、公式(6)表示的文本P的浅层音字特征、公式(8)表示的文本P的浅层音词特征、公式(12)表示的文本P的深层音字特征以及公式(12)表示的文本P的深层音词特征合并得到增强后文本P的拼音粒度特征,记为 如公式(16)所示;把公式(4)表示的文本P的部首粒度语义信息、公式(7)表示的文本P的浅层部字特征、公式(9)表示的文本P的浅层部词特征、公式(13)表示的文本P的深层部字特征以及公式(13)表示的文本P的深层部词特征合并得到增强后文本P的部首粒度特征,记为 如公式(17)所示;

同理,对文本Q进行与文本P类似的处理,可得增强后文本Q的字、词、拼音、部首粒度特c' w'征,分别记为Q 、Q 、

在文本间使用多层编码结构学习增强后的文本多粒度交互特征:将公式(6)表示的文本P的浅层字音特征、公式(6)表示文本P的浅层音字特征、公式(7)表示文本P的浅层字部特征、公式(7)表示文本P的浅层部字特征合并得到文本P的浅层字粒度特征,记为 如公式(18)所示;将公式(8)表示的文本P的浅层词音特征、公式(8)表示的文本P的浅层音词特征、公式(9)表示的文本P的浅层词部特征、公式(9)表示的文本P的浅层部词特征合并得到文本P的浅层词粒度特征,记为 如公式(19)所示;

同理,对文本Q进行与文本P类似的处理,可得文本Q的浅层字、词粒度特征,记为将公式(18)表示的文本P的浅层字粒度特征与文本Q的浅层字粒度特征使用软对齐注意力,分别得到交互后文本P的字粒度特征,记为 和交互后文本Q的字粒度特征,记为如公式(20)所示:同理,公式(19)表示的文本P的浅层词粒度特征和文本Q的浅层词粒度特征使用软对齐注意力得到交互后文本P的词粒度特征,记为 和交互后文本Q的词粒度特征,记为如公式(21)所示:为了增强文本间的语义表示,将公式(18)表示的文本P的浅层字粒度特征与公式(20)表示的交互后文本P的字粒度特征联接得到增强后文本P的字粒度交互特征,记为 如公式(22)所示;将公式(19)表示的文本P的浅层词粒度特征与公式(21)表示的交互后文本P的词粒度特征联接得到增强后文本P的词粒度交互特征,记为 如公式(23)所示;

同理,对文本Q进行与文本P类似的处理,可得增强后文本Q的字、词粒度交互特征,记为

5.根据权利要求4所述的面向消防安全知识智能问答的文本语义匹配方法,其特征在于,所述特征融合模块的构建过程具体如下:首先为方便后续的说明,先进行如下定义,定义自对齐注意力记为IA,如公式(24)所示:以文本P为例,假设Xi表示文本P第i个位置的字粒度嵌入表示,Xj表示文本P第j个位置的字粒度嵌入表示,那么Sij表示文本P第i个位置字粒度嵌入表示与第j个位置字粒度嵌入表示的注意力权重, 表示对注意力权重做softmax操作,可以理解为两者的关联强度,Xi′表示文本P第i个位置的字粒度嵌入表示与其他位置的字粒度嵌入表示之间的交互特征,L表示文本P字粒度嵌入表示的序列长度,X”i表示文本P第i个位置的字粒度嵌入表示与交互特征之和;

后续说明中,使用IA符号代表公式(24)的操作;

在特征聚合层,对于同一文本内部来说,将公式(14)表示的增强后文本P的字粒度特征、公式(15)表示的增强后文本P的词粒度特征、公式(16)表示的增强后文本P的拼音粒度特征、公式(17)表示的增强后文本P的部首粒度特征分别使用自对齐注意力得到对齐后文c” w”本P的字、词、拼音、部首粒度特征,分别记为P 、P 、 如公式(25)所示:

随后将公式(25)表示的对齐后文本P的字、词、拼音、部首粒度特征经过最大池化和平均池化操作,分别得到池化后文本P的字、词、拼音、部首粒度特征,记为如公式(26)所示:其中max表示最大池化操作,mean表示平均池化操作,可以过滤掉噪音信息或不重要信息进一步提取关键的语义信息,dim表示张量的维度;

同理,对文本Q进行与文本P类似的处理,可得对齐后文本Q的字、词、拼音、部首粒度特c” w”征以及池化后文本Q的字、词、拼音、部首粒度特征,分别记为Q 、Q 、

对于文本间的操作和对同一文本内部的操作基本相同,将公式(22)表示的增强后文本P的字粒度交互特征与公式(23)表示的增强后文本P的词粒度交互特征使用自对齐注意力得到对齐后文本P的字、词粒度交互特征,记为 如公式(27)所示:随后将公式(27)表示的对齐后文本P的字、词粒度交互特征经过最大池化和平均池化操作得到池化后文本P的字、词粒度交互特征,记为 如公式(28)所示:其中max表示最大池化操作,mean表示平均池化操作,可以过滤掉噪音信息或不重要信息进一步提取关键的语义信息,dim表示张量的维度;

同理,对文本Q进行与文本P类似的处理,可得对齐后文本Q的字、词粒度交互特征以及池化后文本Q的字、词粒度交互特征,记为使用三种匹配方法对特征进行匹配,之后将所有的匹配向量进行联接:首先为方便下文使用,先进行如下定义,定义匹配函数记为match,如公式(29)所示:P、Q假设为文本P和文本Q的两个向量,ab表示两向量对应位置相减之后绝对值运算,mu表示两向量对应位置相乘运算,sub表示两向量对应位置相减运算;

后续说明中,match符号代表公式(29)的操作;

将公式(26)表示的池化后文本P的字、词、拼音、部首粒度特征以及池化后文本Q的字、词、拼音、部首粒度特征分别进行匹配得到对应的匹配向量分别表示为M1、M2、M3、M4,将公式(28)表示的池化后文本P的字、词粒度交互特征以及池化后文本Q的字、词粒度交互特征分别进行匹配得到对应的匹配向量分别表示为M5、M6,如公式(30)所示:最后将公式(30)表示的所有的匹配向量联接生成最终匹配表示向量,如公式(31)所示:F=[M1;M2;M3;M4;M5;M6]            (31)

公式(31)表示将各个匹配向量进行联接,生成最终匹配表示向量。

6.根据权利要求5所述的面向消防安全知识智能问答的文本语义匹配方法,其特征在于,所述预测模块的构建过程具体如下:在该模块中,最终匹配表示向量经过一层维度为1、激活函数为sigmoid的全连接网络处理,从而得到一个处于[0,1]之间的匹配度数值,记为ypred,最终通过与设立的阈值0.5进行比较,从而判断文本的语义是否匹配;即ypred≥0.5时,预测文本的语义是匹配的,否则,不匹配。

7.根据权利要求1所述的面向消防安全知识智能问答的文本语义匹配方法,其特征在于,所述文本语义匹配知识库的构建过程具体如下:收集数据:下载网络上已经公开的文本语义匹配数据集或人工构建数据集,将其作为构建文本语义匹配知识库的原始数据;

预处理原始数据:预处理用于构建文本语义匹配知识库的原始数据,对其中的每个文本均进行断字操作、分词操作,转换拼音操作,提取字部首操作,得到文本语义匹配断字处理知识库、分词处理知识库、拼音处理知识库、部首处理知识库;

汇总文本知识库:汇总文本语义匹配断字处理知识库、文本语义匹配分词处理知识库、文本语义匹配拼音处理知识库和文本语义匹配部首处理知识库构建文本语义匹配知识库;

所述文本语义匹配模型通过使用训练数据集进行训练而得到,训练数据集的构建过程如下:构建训练正例:将两个文本语义一致的文本构建为正例数据;

构建训练负例:对于所获得的每个正例文本,选中其包含的某一个文本,随机选择与其不匹配的某个文本进行组合,将这两个语义不一致的文本,构建为负例数据;

构建训练数据集:将所获得的全部的正例文本数据和负例文本数据,合并在一起,并打乱其顺序,构建最终的训练数据集;

所述文本语义匹配模型构建完成后通过训练数据集进行文本语义匹配模型的训练与优化,具体如下:构建损失函数:由预测模块构建过程可知,ypred为经过文本语义匹配模型处理后得到的匹配度计算数值;而ytrue是两个文本语义是否匹配的真实标签,其取值仅限于0或1,数据来源于训练数据集中,采用交叉熵作为损失函数;

构建优化函数:模型经过对多种优化函数进行测试,最终选择使用Adam优化函数作为本模型的优化函数,其超参数均选择Keras中的默认值设置。

8.一种面向消防安全知识智能问答的文本语义匹配装置,其特征在于,该装置包括文本语义匹配知识库构建单元、训练数据集生成单元、文本语义匹配模型构建单元、文本语义匹配模型训练单元,分别实现权利要求1‑7所描述的面向消防安全知识智能问答的文本语义匹配方法的步骤。

9.一种储存介质,其中储存有多条指令,其特征在于,所述指令有处理器加载,执行权利要求1‑7中所述的面向消防安全知识智能问答的文本语义匹配方法的步骤。

10.一种电子设备,其特征在于,所述电子设备包括:

权利要求9所述的储存介质以及处理器,用于执行所述储存介质中的指令。