欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202210464244X
申请人: 华侨大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-12-18
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于数据统计和知识指导的图拓扑学习方法,其特征在于,包括如下步骤:步骤1、接收输入的文本数据,获取文本数据中的实体作为图拓扑的节点,根据历史文本数据计算节点间的条件概率,构建初始图拓扑的邻接矩阵;

步骤2、基于领域知识图谱构建出每份文本数据的知识注意网络;

步骤3、将初始图拓扑的邻接矩阵输入到DK_Transformer模型中,并以知识注意网络为专家知识,联合注意力机制学习出适应下游任务的图拓扑。

2.根据权利要求1所述的基于数据统计和知识指导的图拓扑学习方法,其特征在于,所述步骤1具体包括:步骤1.1、接收输入样本量为N的文本数据D={d1,d2,...,dN},获取每份文本数据d中的实体集合E={e1,e2,...,enum},将其作为对应图拓扑的节点集合V={v1,v2,...,v|V|},其中num为实体集合的个数,|V|为每个图拓扑的节点个数;若num=|V|,则将全部实体作为图拓扑的节点;若num>|V|,则删除节点索引大于|V|的实体;若num<|V|,则将节点索引大于num而小于等于|V|的空节点用特殊编码填充;

步骤1.2、根据步骤1.1确定的图拓扑的节点集合V,基于所有文本数据D计算任意两个节点vi和vj(i,j=1,2,..,|V|)的条件概率作为边权值aij,即vj在vi出现的条件下出现的概率p(vj|vi),其计算公式为:获得基于条件概率的邻接矩阵P,表示为:

步骤1.3、将步骤1.2得到的邻接矩阵P进行归一化得到归一化邻接矩阵

3.根据权利要求2所述的基于数据统计和知识指导的图拓扑学习方法,其特征在于,所述步骤2具体包括:根据步骤1确定的图拓扑的节点集合V,从领域知识图谱中获取这些节点在该知识图谱中的连接关系,从而为每份文本数据d构建一个知识注意网络M,计算方法如下:其中,u为vi和vj共同祖先的个数,l为vi到vj的路径条数。

4.根据权利要求3所述的基于数据统计和知识指导的图拓扑学习方法,其特征在于,所述步骤3具体包括:步骤3.1、将步骤1确定的图拓扑的节点集合V进行向量嵌入,其中空节点的向量置0,得(0)到图中节点的初始特征矩阵X ;

步骤3.2、将步骤1和步骤3.1的结果,即图拓扑的归一化邻接矩阵 和图中节点的初始(0)特征矩阵X 输入到DK_Transformer模型的第一个block模块中进行学习;

步骤3.3、将步骤3.2的输出送入到DK_Transformer模型的n个block模块中,使用步骤2获得的知识注意网络M为专家知识,联合DK_Transformer模型的注意力矩阵S指导图拓扑学习,最终获得学习到的图拓扑的归一化邻接矩阵当n=1时,

当n>1时,

其中,softmax为归一化指数函数, 为DK_Transformer模型第n个block模块的注意力矩阵S; 和 分别表示DK_Transformer第n个block模块的Query向量和Key向量; 和 分别表示DK_Transformer第n个block模(n‑1)块中可学习的矩阵参数,X 为第n‑1个block模块中节点的特征矩阵;d是列的维度;

步骤3.4、计算DK_Transformer模型在图拓扑学习的损失Lreg:当n=1时,

当n>1时,

其中,DKL为KL散度, 矩阵为DK_Transformer第n个block模块输出的归一化邻接矩阵的微调矩阵,即标记知识注意网络M中非零值的位置索引,并在归一化邻接矩阵 的对应位置中保留这些非零值,从而形成微调矩阵步骤3.5、计算DK_Transformer模型下游任务的损失Lmain:其中,下游任务可为二分类任务,损失函数为二分类交叉熵,N为文本数据的总样本数,yi是第i个文本数据的标签,是第i个文本数据的预测结果;

步骤3.6、根据步骤3.4和步骤3.5的结果,综合计算DK_Transformer模型的总损失函数L:其中,通过正则化系数λ来平衡下游任务的损失Lmain和图拓扑学习的损失Lreg;

步骤3.7、最小化所述总损失函数L,更新网络参数直到达到最大迭代次数T,得到训练好的DK_Transformer模型;

步骤3.8、输入一条测试文本数据testd到训练好的DK_Transformer模型中,预测输出图拓扑的邻接矩阵 和下游任务的结果

5.一种基于数据统计和知识指导的图拓扑学习系统,其特征在于,包括:构建初始图拓扑的邻接矩阵模块,用于接收输入的文本数据,获取文本数据中的实体作为图拓扑的节点,根据历史文本数据计算节点间的条件概率,构建初始图拓扑的邻接矩阵;

构建知识注意网络模块,用于基于领域知识图谱构建出每份文本数据的知识注意网络;

图拓扑学习模块,用于将初始图拓扑的邻接矩阵输入到DK_Transformer模型中,并以知识注意网络为专家知识,联合注意力机制学习出适应下游任务的图拓扑。