1.一种多模态知识图谱稀疏信息增强系统,其特征在于,包括:规则挖掘模块,用于对数据稀缺的知识图谱挖掘并清洗无自反、无重复的逻辑规则,输出规则集;
特征提取模块,用于以图谱的可学习结构向量为基础,同步提取实体结构、视觉、文本特征,经降维归一化后输出统一维度的三模态嵌入;
打分模块,用于基于所述三模态嵌入,利用与模态对应的评分函数计算各模态得分,并通过可学习权重融合得到知识图谱的关系三元组的成立概率;
规则-后验模块,用于以所述规则集为骨架、所述成立概率为先验,结合已知事实与可学习规则权重,经全局概率传播输出未知事实的后验分布;
变分推理模块,用于通过变分EM算法迭代优化所述后验分布,输出高置信度未知事实,完成知识图谱补全;
所述特征提取模块以图谱的可学习结构向量为基础,同步提取实体结构、视觉、文本特征,经降维归一化后输出统一维度的三模态嵌入的过程,包括:
1)初始化知识图谱的结构化实体嵌入,得到所有实体的可训练向量的初始值;
2)取实体图像集通过预训练的ResNet逐张提特征,再经过均值池化后,得视觉向量;
3)取实体文本集通过预训练的Transformer逐句提特征,再最大池化后,得文本向量;
4)对视觉向量或文本向量中存在的视觉或文本信息缺失,采用标准正态随机向量对缺失的信息进行占位补齐;
5)对视觉、文本向量做PCA降维到统一维度,通过L2归一化,得到实体e的图像单位向量和文本单位向量,作为实体的视觉模态嵌入和文本模态嵌入;
6)输出由实体的可训练向量、视觉模态嵌入和文本模态嵌入构成的三模态嵌入;
变分推理模块中,变分EM算法的E步,包括:
1)以三元组成立概率作为先验,得到每条实例规则中各谓词初始概率;
2)在规则权重保持不变的条件下,仅更新近似后验分布;
3)将联合概率拆解为“规则得分”与“熵惩罚”两部分,其中规则得分由各条实例规则的可信度连乘并按规则权重累加得到,熵惩罚用于防止分布过拟合;
4)采用平均场假设,把整体后验近似成每个谓词独立取0或1的伯努利分布的乘积;其中,每个谓词取1的概率由前置的模态的自适应融合实时给出;
5)通过梯度下降最小化整体目标,使近似后验同时逼近真实联合概率并保持最大熵;
6)迭代至收敛后,输出更新后的谓词概率分布,供后续M步使用;
变分推理模块中,变分EM算法的M步,包括:
1)在近似后验分布固定条件下,通过最大化完整数据对数似然更新规则权重;
2)权重增量按已知事实与未知事实联合贡献比例更新;
3)迭代至收敛后输出更新后的规则权重,供下一轮E步使用。
2.根据权利要求1所述的多模态知识图谱稀疏信息增强系统,其特征在于,打分模块中,得到知识图谱的关系三元组的成立概率为:;
其中,函数,为自变量;
为各个模态融合后的分数;
;
其中,待学习的权重矩阵,为待学习的偏差项;为实体结构模态嵌入的分数;为视觉模态嵌入的分数;为文本模态嵌入的分数。
3.根据权利要求2所述的多模态知识图谱稀疏信息增强系统,其特征在于,实体结构模态嵌入的分数,采用结构性向量的评分函数进行评分;
所述结构性向量的评分函数,直接使用关系三元组的头实体和尾实体的结构性嵌入进行评分;
;
其中,表示非线性激活函数:Tanh;
为一个维度为张量的待学习的权重矩阵,通过双线性运算生成-维向量,捕捉头实体和尾实体间的交互特征;
是一个维度为的张量的待学习的权重矩阵,通过对列向量组合施加线性变换来产生-维向量,对实体系的拼接向量进行线性映射;
是一个-维向量待学习的偏差项;
是维度为的张量,将非线性激活函数的输出投影为标量分数。
4.根据权利要求2所述的多模态知识图谱稀疏信息增强系统,其特征在于,视觉模态嵌入的分数,采用视觉向量的评分函数进行评分;
所述视觉向量的评分函数,使用关系三元组的头实体视觉嵌入和尾实体视觉嵌入进行评分;
;
其中,表示非线性激活函数:Tanh;
为一个维度为张量的待学习的权重矩阵,通过双线性运算生成-维向量,捕捉头实体视觉嵌入和尾实体视觉嵌入间的交互特征;
是一个维度为的张量的待学习的权重矩阵,通过对列向量组合施加线性变换来产生-维向量,对实体系的拼接向量进行线性映射;
是一个-维向量待学习的偏差项;
是维度为的张量,将非线性激活函数的输出投影为标量分数。
5.根据权利要求2所述的多模态知识图谱稀疏信息增强系统,其特征在于,文本模态嵌入的分数,采用文本向量的评分函数进行评分;
所述文本向量的评分函数,使用关系三元组的头实体文本嵌入和尾实体文本嵌入进行评分;
;
其中,表示非线性激活函数:Tanh;
为一个维度为张量的待学习的权重矩阵,通过双线性运算生成-维向量,捕捉头实体文本嵌入和尾实体文本嵌入间的交互特征;
是一个维度为的张量的待学习的权重矩阵,通过对列向量组合施加线性变换来产生-维向量,对实体系的拼接向量进行线性映射;
是一个-维向量待学习的偏差项;
是维度为的张量,将非线性激活函数的输出投影为标量分数。
6.根据权利要求2-5任一项所述的多模态知识图谱稀疏信息增强系统,其特征在于,所述打分模块中包括关系特定子网络和自适应融合子网络;其中,关系特定子网络,用于在训练阶段对结构、视觉、文本三种模态训练出一组共享于所有模态的学习参数;在推理阶段,各模态输入进行前向计算,输出对应模态的标量得分;
自适应融合子网络,用于将三个标量得分通过可学习权重向量A及偏置β做加权求和,再经Sigmoid激活,得到最终成立概率;
关系特定子网络,包括输入层、双线性层、拼接与线性映射层、加偏置层、元素加和层、非线性层、线性投影层和模态得分输出层;其中,输入层,用于接入当前模态的头实体向量与尾实体向量;
双线性层,用于捕获头实体向量与尾实体向量的二阶交互特征,输出关系特定的交互表示向量;
拼接与线性映射层,用于将头实体向量与尾实体向量按列拼接成单一向量;并对拼接向量执行线性变换后,映射到与交互表示向量相同的维度;
加偏置层,用于为线性映射结果引入可学习的偏置项,增强模型表达能力;
元素加和层,用于将双线性交互向量、线性映射向量与偏置向量逐元素相加,融合两类信息;
非线性层,用于对加和结果施加激活函数,引入非线性特性;
线性投影层,用于通过关系特定的输出向量将非线性特征压缩为单个标量值;
模态得分输出层,用于输出当前模态下三元组匹配的标量得分。
7.根据权利要求6所述的多模态知识图谱稀疏信息增强系统,其特征在于,规则-后验模块中,未知事实的后验分布为已知和未知事实联合概率分布:;
其中,为时间逻辑规则集合中规则,是为规则分配的权重;表示已知事实集合;表示待预测的未知事实集合,为优选规则对应网络的权值;为满足规则对应所有种实例的数量,为配分函数,是所有规则对应的实例的总和。