欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025111107176
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于结构感知知识图谱表示的大语言模型推理增强方法,其特征在于:所述大语言模型推理增强方法具体包括如下步骤:步骤1、对原始知识图谱中的节点进行编码生成高维语义嵌入向量,引入自适应多源结构信息编码机制获取节点结构信息编码,将节点结构信息编码与高维语义嵌入向量拼接形成原始结构感知特征;

步骤2、将步骤1得到的原始结构感知特征引入多层GPS图卷积神经网络形成增强节点嵌入特征,引入双向对比学习机制,将增强节点嵌入特征与步骤1得到的高维语义嵌入向量进行对齐,得到最终的嵌入向量;

步骤3、基于步骤2得到的嵌入向量获得知识图谱中所有节点的嵌入向量矩阵,利用大语言模型对问题中的关键实体集合进行识别,完成关键实体集合识别后,用Sentence-BERT将关键实体集合编码为密集向量,计算密集向量与嵌入向量矩阵的余弦相似度矩阵,选取与关键实体集合最相似的问题节点集合即为子图的锚定节点;

步骤4、从步骤3获得的锚定节点出发,采用路径探索与邻域扩展双通道策略生成无剪枝候选子图集合;

步骤5、基于步骤2得到的嵌入向量,构建自适应鲁棒性融合剪枝训练策略,从步骤4的无剪枝候选子图集合中完成子图的筛选,从无剪枝候选子图集合中选出的最优子图,所述自适应鲁棒性融合剪枝训练策略包括计算结构-语义评分分量和反事实鲁棒性评分分量;

步骤6、针对任意新问题,首先根据步骤1-步骤4生成无剪枝候选子图集合,随后,直接调用步骤5自适应鲁棒性融合剪枝训练策略训练好的自适应剪枝打分函数,对步骤4生成的无剪枝候选子图集合进行筛选,选出与问题最相关、结构最健壮的证据子图。

2.根据权利要求1所述的基于结构感知知识图谱表示的大语言模型推理增强方法,其特征在于:步骤1具体包括如下步骤:步骤1.1、以原始知识图谱中的任意一节点为中心出发,通过广度优先搜索的采样方式,从原始知识图谱中采样得到子图,子图的采样过程定义为:,

其中,为广度优先搜索,为以中心节点出发采样得到的子图,为包含中心节点及中心节点若干跳范围内的节点集合,为关系边集合,限定了局图中包含的最大节点数量,使;

步骤1.2、采用Sentence-BERT模型对步骤1.1采样得到的子图中的每一个节点进行编码,提取节点的语义特征,并生成高维语义嵌入向量:,其中,;

步骤1.3、在步骤1.1采样得到子图基础上,引入自适应多源结构信息编码机制,获取节点结构信息编码,并将节点结构信息编码与步骤1.2生成的高维语义嵌入向量拼接形成原始结构感知特征。

3.根据权利要求2所述的基于结构感知知识图谱表示的大语言模型推理增强方法,其特征在于:步骤1.3中,所述自适应多源结构信息编码机制包括随机游走编码、节点类型编码和社区结构类型编码,随机游走编码以连续实值向量的形式,刻画节点的局部路径结构特征,节点类型编码采用one-hot向量表征节点所属的类别,社区结构类型编码通过one-hot向量标识节点在全局知识图谱中的社区归属。

4.根据权利要求3所述的基于结构感知知识图谱表示的大语言模型推理增强方法,其特征在于:所述步骤1.3具体包括如下步骤:步骤1.3.1、对子图中所有节点,根据节点的中心性指标动态生成随机游走编码、节点类型编码和社区结构类型编码的融合权重向量:,

其中,偏置项,为权重矩阵;

步骤1.3.2、计算节点的节点结构信息编码:

,

其中,是节点类型编码的嵌入函数,是社区结构类型编码的嵌入函数;

步骤1.3.3、对节点结构信息编码进行批归一化与线性映射变换:,

其中,为对节点结构信息编码进行批归一化和线性映射变化后的节点结构信息编码,为线性变化矩阵,为批归一化;

步骤1.3.4、将步骤1.3.3得到的与高维语义嵌入向量拼接,形成原始结构感知特征:。

5.根据权利要求4所述的基于结构感知知识图谱表示的大语言模型推理增强方法,其特征在于:所述步骤2具体包括如下步骤:步骤2.1、将得到的原始结构感知特征输入至多层GPS图卷积神经网络中进行原始结构感知特征的传播和聚合,每一层图卷积的计算方式为:,

其中,为GPS层的层数,,;

步骤2.2、在完成层GPS图卷积神经网络的特征传播与聚合后,从每个子图中提取出中心节点的增强嵌入节点特征:;

步骤2.3、采用InfoNCE 损失函数将增强嵌入节点特征与中心节点的高维语义嵌入向量进行对齐,所述InfoNCE 损失函数包括从图到文本方向计算对比损失和文本到图方向的对比损失:,

,

其中,为样本数量,为温度系数,是中心节点的语义特征,是节点的语义特征,是节点的增强嵌入节点特征,是中心节点的增强嵌入节点特征,函数为衡量和之间的相似度:,为转置;

步骤2.4、引入双向对比学习机制,对比学习损失函数为:;

步骤2.5、训练完成后,最终的嵌入向量:

。

6.根据权利要求5所述的基于结构感知知识图谱表示的大语言模型推理增强方法,其特征在于:所述步骤4的双通道策略具体为:路径探索:对步骤3获取的锚定节点中任意实体对,枚举长度不超过的所有路径,构建路径集合,每条路径,保留路径的所有节点及边形成路径型子图;

邻域扩展:针对每个锚定节点,获取一阶邻居,并根据锚定节点对应的边的关系类型进行分组,每组内保留全部邻居节点,形成邻域型子图集合;

基于路径探索和邻域扩展的生成构建无剪枝候选子图集合。

7.根据权利要求6所述的基于结构感知知识图谱表示的大语言模型推理增强方法,其特征在于:所述步骤5具体包括如下步骤:步骤5.1、定义无剪枝候选子图与问题的结构-语义联合鲁棒性评分函数为:,

其中,为融合权重,为无剪枝候选子图节点集合,为无剪枝候选子图边集合,,为待学习融合权重,为第种评分分量,结构-语义评分分量为,

其中,为无剪枝候选子图内节点的嵌入,为问题的语义嵌入,由将问题经过Sentence-BERT编码得到;

步骤5.2、计算反事实鲁棒性评分分量:用大预言模型计算无剪枝候选子图与问题的相关性即置信度分数,并对无剪枝候选子图进行种扰动,生成一组反事实子图,大预言模型分别对每个反事实子图打分,得到置信度分数,获取反事实鲁棒性评分分量:,

步骤5.3、引入蒙特卡洛采样对泛化性能度量指标BERTScore的期望建模:,

其中,为推理扰动,为泛化性能度量指标BERTScore,为在融合权重和推理扰动下,通过结构-语义联合鲁棒性评分函数从候选子图集合中选出的最优子图,为大模型在给定当前最优子图和查询的情况下所生成的答案,为问题的标准答案,其蒙特卡洛近似为:,

步骤5.4、训练过程中,采用贝叶斯优化策略,从原始训练数据集随机采样若干对,反复执行步骤5.1到步骤5.4,最终得到自适应剪枝权重:,

其中,为采集函数,为泛化性能度量指标BERTScore的均值,为方差估计。