欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022102854504
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种查询分析方法,其特征在于,包括:

确定待查询语句对应的向量,得到待查询向量;

将所述待查询向量输入训练后的第一模型,根据所述第一模型的输出得到伪标题向量,其中,所述伪标题向量包含所述待查询语句的后验检索信息;

将所述待查询语句和所述伪标题向量输入训练后的第二模型,根据所述第二模型的输出确定所述待查询语句的目标预测,并基于所述目标预测进行查询分析;

所述第一模型包括第三编码模型和序列-序列模型,所述方法还包括:获取N个训练样本,第i个训练样本包括第i查询语句和所述第i查询语句对应的第i标题集合,N为正整数,i为不大于N的正整数;

将所述第i查询语句输入所述第三编码模型,得到所述第i查询语句对应的上下文向量;

通过所述序列-序列模型中的编码器,得到所述上下文向量对应的一组第一隐藏状态;

将所述第一隐藏状态的最后一个隐藏状态作为所述第i查询语句对应的第i伪标题向量;

确定所述第i标题集合对应的一组第一概率向量;

将所述第一隐藏状态和所述第一概率向量输入所述序列-序列模型中的解码器,根据所述解码器的输出得到一组第二隐藏状态;

将所述第二隐藏状态输入归一化指数函数,根据所述归一化指数函数的输出得到一组第二概率向量;

根据所述第一概率向量和所述第二概率向量的交叉熵函数,确定所述第一模型的第二损失函数;

根据所述第二损失函数优化所述第三编码模型的参数及所述序列-序列模型的参数,以确定所述训练后的第一模型。

2.根据权利要求1所述的查询分析方法,其特征在于,所述第一模型包括第一编码模型和第二编码模型,所述方法包括:将所述第i查询语句输入第一编码模型,得到所述第i查询语句对应的第i查询向量;

将所述第i标题集合输入第二编码模型,得到所述第i标题集合对应的第i标题向量;

根据所述第i查询向量和所述第i标题向量确定所述第一模型的第一损失函数;

根据所述第一损失函数优化所述第一编码模型的参数及所述第二编码模型的参数,以确定所述训练后的第一模型。

3.根据权利要求2所述的查询分析方法,其特征在于,所述第一损失函数计算方法为:其中,minimize Lossimi表示计算所述第一损失函数Lossimi的最小化,qi为所述第i查询向量,ti为所述第i标题向量。

4.根据权利要求2所述的查询分析方法,其特征在于,所述将所述待查询向量输入训练后的第一模型,根据所述第一模型的输出得到伪标题向量,包括:将所述待查询向量输入所述训练后的第一模型中的第一编码模型,根据所述第一编码模型的输出得到所述伪标题向量。

5.根据权利要求1所述的查询分析方法,其特征在于,所述第二损失函数计算方法为:其中,minimize Loss′imi表示计算所述第二损失函数Loss′imi的最小化,为所述第i标题集合对应的一组第一概率向量,为所述第i标题集合对应的一组第二概率向量,CE(·)为所述交叉熵函数,O为所有所述标题集合的长度,O为正整数,l为不大于O的正整数。

6.根据权利要求1所述的查询分析方法,其特征在于,所述将所述待查询向量输入训练后的第一模型,根据所述第一模型的输出得到伪标题向量,包括:将所述待查询向量输入所述训练后的第一模型中的第三编码模型,得到所述待查询向量对应的上下文向量;

通过所述训练后的第一模型中的序列-序列模型中的编码器,得到所述上下文向量对应的一组第一隐藏状态;

将所述一组第一隐藏状态中最后一个隐藏状态确定为所述伪标题向量。

7.根据权利要求1或2所述的查询分析方法,其特征在于,所述方法还包括:获取所述第i查询语句对应的第i标签向量,得到N个训练样本;

对所述第i查询语句进行嵌入处理,得到第i嵌入序列;

获取在所述第一模型中得到的所述第i查询语句对应的第i伪标题向量;

将所述第i伪标题向量和所述第i嵌入序列进行结合处理,并将结合处理后的向量输入至第四编码模型;

根据所述第四编码模型的输出得到所述第i查询语句的第i目标表示;

将所述第i目标表示输入所述归一化指数函数,根据所述归一化指数函数的输出得到所述目标预测;

根据所述第i标签向量和所述目标预测的所述交叉熵函数,确定所述第二模型的第三损失函数;

根据所述第三损失函数优化所述第四编码模型的参数,以确定训练后的第二模型。

8.根据权利要求7所述的查询分析方法,其特征在于,所述第三损失函数计算方法为:其中,minimize Lossint表示计算所述第三损失函数Lossint的最小化,为所述目标预测,为所述第i标签向量,共有L个所述标签向量,G为正整数,j为不大于G的正整数。

9.根据权利要求7所述的查询分析方法,其特征在于,所述方法还包括:根据所述第三损失函数及所述第一损失函数或所述第二损失函数确定目标损失函数;

根据所述目标损失函数优化所述第一模型和所述第二模型。

10.根据权利要求9所述的查询分析方法,其特征在于,所述目标损失函数计算方法为:minimize Loss=Lossint+αLossimi,或minimize Loss=Lossint+αLoss′imi其中,minimize Loss表示计算所述目标损失函数,Lossimi为所述第一损失函数、Loss′imi所述第二损失函数,Lossint为所述第三损失函数,α为超参数。

11.根据权利要求7所述的查询分析方法,其特征在于,所述将所述待查询语句和所述伪标题向量输入训练后的第二模型,根据所述第二模型的输出确定所述待查询语句的目标预测,包括:将所述待查询向量对应的上下文向量进行嵌入处理,得到嵌入序列;

将所述伪标题向量和所述嵌入序列进行结合处理,并将结合处理后的向量输入至第四编码模型;

根据所述第四编码模型的输出得到所述待查询语句的目标表示;

将所述目标表示输入所述归一化指数函数,根据所述归一化指数函数的输出得到所述目标预测。

12.一种查询分析系统,其特征在于,包括:

转换模块,用于:确定待查询语句对应的向量,得到待查询向量;

模拟模块,用于:将所述待查询向量输入第一模型,根据所述第一模型的输出得到伪标题向量,其中,所述伪标题向量包含所述待查询语句的后验检索信息,所述第一模型包括第三编码模型和序列-序列模型;

集成模块,用于:将所述待查询语句和所述伪标题向量输入第二模型,根据所述第二模型的输出确定所述待查询语句的目标预测,并基于所述目标预测进行查询分析;

模型训练模块,用于获取N个训练样本,第i个训练样本包括第i查询语句和所述第i查询语句对应的第i标题集合,N为正整数,i为不大于N的正整数;

将所述第i查询语句输入所述第三编码模型,得到所述第i查询语句对应的上下文向量;

通过所述序列-序列模型中的编码器,得到所述上下文向量对应的一组第一隐藏状态;

将所述第一隐藏状态的最后一个隐藏状态作为所述第i查询语句对应的第i伪标题向量;

确定所述第i标题集合对应的一组第一概率向量;

将所述第一隐藏状态和所述第一概率向量输入所述序列-序列模型中的解码器,根据所述解码器的输出得到一组第二隐藏状态;

将所述第二隐藏状态输入归一化指数函数,根据所述归一化指数函数的输出得到一组第二概率向量;

根据所述第一概率向量和所述第二概率向量的交叉熵函数,确定所述第一模型的第二损失函数;

根据所述第二损失函数优化所述第三编码模型的参数及所述序列-序列模型的参数,以确定所述训练后的第一模型。

13.一种终端,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至11中任一项所述的查询分析方法。

14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至11中任一项所述的查询分析方法。