欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025118117501
申请人: 嘉兴大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种多模态知识图谱稀疏信息增强系统,其特征在于,包括:规则挖掘模块,用于对数据稀缺的知识图谱挖掘并清洗无自反、无重复的逻辑规则,输出规则集;

特征提取模块,用于以图谱的可学习结构向量为基础,同步提取实体结构、视觉、文本特征,经降维归一化后输出统一维度的三模态嵌入;

打分模块,用于基于所述三模态嵌入,利用与模态对应的评分函数计算各模态得分,并通过可学习权重融合得到知识图谱的关系三元组的成立概率;

规则-后验模块,用于以所述规则集为骨架、所述成立概率为先验,结合已知事实与可学习规则权重,经全局概率传播输出未知事实的后验分布;

变分推理模块,用于通过变分EM算法迭代优化所述后验分布,输出高置信度未知事实,完成知识图谱补全;

所述特征提取模块以图谱的可学习结构向量为基础,同步提取实体结构、视觉、文本特征,经降维归一化后输出统一维度的三模态嵌入的过程,包括:

1)初始化知识图谱的结构化实体嵌入,得到所有实体的可训练向量的初始值;

2)取实体图像集通过预训练的ResNet逐张提特征,再经过均值池化后,得视觉向量;

3)取实体文本集通过预训练的Transformer逐句提特征,再最大池化后,得文本向量;

4)对视觉向量或文本向量中存在的视觉或文本信息缺失,采用标准正态随机向量对缺失的信息进行占位补齐;

5)对视觉、文本向量做PCA降维到统一维度,通过L2归一化,得到实体e的图像单位向量和文本单位向量,作为实体的视觉模态嵌入和文本模态嵌入;

6)输出由实体的可训练向量、视觉模态嵌入和文本模态嵌入构成的三模态嵌入;

变分推理模块中,变分EM算法的E步,包括:

1)以三元组成立概率作为先验,得到每条实例规则中各谓词初始概率;

2)在规则权重保持不变的条件下,仅更新近似后验分布;

3)将联合概率拆解为“规则得分”与“熵惩罚”两部分,其中规则得分由各条实例规则的可信度连乘并按规则权重累加得到,熵惩罚用于防止分布过拟合;

4)采用平均场假设,把整体后验近似成每个谓词独立取0或1的伯努利分布的乘积;其中,每个谓词取1的概率由前置的模态的自适应融合实时给出;

5)通过梯度下降最小化整体目标,使近似后验同时逼近真实联合概率并保持最大熵;

6)迭代至收敛后,输出更新后的谓词概率分布,供后续M步使用;

变分推理模块中,变分EM算法的M步,包括:

1)在近似后验分布固定条件下,通过最大化完整数据对数似然更新规则权重;

2)权重增量按已知事实与未知事实联合贡献比例更新;

3)迭代至收敛后输出更新后的规则权重,供下一轮E步使用。

2.根据权利要求1所述的多模态知识图谱稀疏信息增强系统,其特征在于,打分模块中,得到知识图谱的关系三元组的成立概率为:;

其中,函数,为自变量;

为各个模态融合后的分数;

;

其中,待学习的权重矩阵,为待学习的偏差项;为实体结构模态嵌入的分数;为视觉模态嵌入的分数;为文本模态嵌入的分数。

3.根据权利要求2所述的多模态知识图谱稀疏信息增强系统,其特征在于,实体结构模态嵌入的分数,采用结构性向量的评分函数进行评分;

所述结构性向量的评分函数,直接使用关系三元组的头实体和尾实体的结构性嵌入进行评分;

;

其中,表示非线性激活函数:Tanh;

为一个维度为张量的待学习的权重矩阵,通过双线性运算生成-维向量,捕捉头实体和尾实体间的交互特征;

是一个维度为的张量的待学习的权重矩阵,通过对列向量组合施加线性变换来产生-维向量,对实体系的拼接向量进行线性映射;

是一个-维向量待学习的偏差项;

是维度为的张量,将非线性激活函数的输出投影为标量分数。

4.根据权利要求2所述的多模态知识图谱稀疏信息增强系统,其特征在于,视觉模态嵌入的分数,采用视觉向量的评分函数进行评分;

所述视觉向量的评分函数,使用关系三元组的头实体视觉嵌入和尾实体视觉嵌入进行评分;

;

其中,表示非线性激活函数:Tanh;

为一个维度为张量的待学习的权重矩阵,通过双线性运算生成-维向量,捕捉头实体视觉嵌入和尾实体视觉嵌入间的交互特征;

是一个维度为的张量的待学习的权重矩阵,通过对列向量组合施加线性变换来产生-维向量,对实体系的拼接向量进行线性映射;

是一个-维向量待学习的偏差项;

是维度为的张量,将非线性激活函数的输出投影为标量分数。

5.根据权利要求2所述的多模态知识图谱稀疏信息增强系统,其特征在于,文本模态嵌入的分数,采用文本向量的评分函数进行评分;

所述文本向量的评分函数,使用关系三元组的头实体文本嵌入和尾实体文本嵌入进行评分;

;

其中,表示非线性激活函数:Tanh;

为一个维度为张量的待学习的权重矩阵,通过双线性运算生成-维向量,捕捉头实体文本嵌入和尾实体文本嵌入间的交互特征;

是一个维度为的张量的待学习的权重矩阵,通过对列向量组合施加线性变换来产生-维向量,对实体系的拼接向量进行线性映射;

是一个-维向量待学习的偏差项;

是维度为的张量,将非线性激活函数的输出投影为标量分数。

6.根据权利要求2-5任一项所述的多模态知识图谱稀疏信息增强系统,其特征在于,所述打分模块中包括关系特定子网络和自适应融合子网络;其中,关系特定子网络,用于在训练阶段对结构、视觉、文本三种模态训练出一组共享于所有模态的学习参数;在推理阶段,各模态输入进行前向计算,输出对应模态的标量得分;

自适应融合子网络,用于将三个标量得分通过可学习权重向量A及偏置β做加权求和,再经Sigmoid激活,得到最终成立概率;

关系特定子网络,包括输入层、双线性层、拼接与线性映射层、加偏置层、元素加和层、非线性层、线性投影层和模态得分输出层;其中,输入层,用于接入当前模态的头实体向量与尾实体向量;

双线性层,用于捕获头实体向量与尾实体向量的二阶交互特征,输出关系特定的交互表示向量;

拼接与线性映射层,用于将头实体向量与尾实体向量按列拼接成单一向量;并对拼接向量执行线性变换后,映射到与交互表示向量相同的维度;

加偏置层,用于为线性映射结果引入可学习的偏置项,增强模型表达能力;

元素加和层,用于将双线性交互向量、线性映射向量与偏置向量逐元素相加,融合两类信息;

非线性层,用于对加和结果施加激活函数,引入非线性特性;

线性投影层,用于通过关系特定的输出向量将非线性特征压缩为单个标量值;

模态得分输出层,用于输出当前模态下三元组匹配的标量得分。

7.根据权利要求6所述的多模态知识图谱稀疏信息增强系统,其特征在于,规则-后验模块中,未知事实的后验分布为已知和未知事实联合概率分布:;

其中,为时间逻辑规则集合中规则,是为规则分配的权重;表示已知事实集合;表示待预测的未知事实集合,为优选规则对应网络的权值;为满足规则对应所有种实例的数量,为配分函数,是所有规则对应的实例的总和。