欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024106297231
申请人: 湖北科技学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种教育领域基于多模态融合的少样本知识图谱补全方法,其特征在于,包括:S1:收集教育领域相关知识的图像、文本及属性多源信息;

S2:对收集到的多源信息进行特征提取,利用子属性映射矩阵构建层次类型映射矩阵方法提取属性特征,生成多源信息的特征表示;

S3:采用基于循环神经网络的特征融合方法对上述特征表示,经过实体对齐后进行融合表示;

S4:提取邻接实体的语义特征形成邻接特征汇聚层,以补充中心节点语义特征;

S5:结合基于结构的知识表示得到的知识表示结果以及邻接特征汇聚层,采用基于神经网络的知识推理方法来进行知识图谱补全;

步骤S2中利用子属性映射矩阵构建层次类型映射矩阵方法提取属性特征的步骤包括:采用基于卷积神经网络构建的递归层次编码器,利用子属性映射矩阵构建层次类型映射矩阵;

首先输入数据经过卷积神经网络的递归层次编码器处理得到初步的特征表示;

利用子属性映射矩阵将初步特征映射到对应的子属性空间上,得到更细粒度的特征表示;

根据子属性表示,再通过层次类型映射矩阵将子属性映射到更高级的层次类型空间,得到更有层次结构的特征表示;

借助映射矩阵,并基于平移距离的知识推理模型,根据给定的评分函数进行训练,最终训练得到基于属性的特征表示ha和ta。

2.根据权利要求1所述的一种教育领域基于多模态融合的少样本知识图谱补全方法,其特征在于,所述提取的图像特征、文本特征、属性特征的提取方法,包括:使用卷积神经网络CNN得到各个图像在知识空间的特征表示,并采用AlexNet卷积神经网络模型从实体图像中抽取图像特征;

采用Word2vec模型大规模语料上训练得到文本的词向量,并作为卷积神经网络模型的输入;

采用基于卷积神经网络来构建递归层次编码器,利用子属性映射矩阵构建层次类型映射矩阵;随着递归层次编码器自顶向下,通过子类型映射矩阵的递归连乘构建层次类型映射矩阵来得到最终基于属性的特征表示。

3.根据权利要求2所述的一种教育领域基于多模态融合的少样本知识图谱补全方法,其特征在于,从实体图像中抽取图像特征的步骤包括:首先对于知识三元组(h,r,t),将头实体和尾实体的所有实体图像作为输入,经过卷积神经网络CNN得到各个图像在知识空间的特征表示;

其中三元组(h,r,t)中h表示的是三元组的头实体,r代表的是三元组的关系,t代表的是三元组的尾实体;

然后使用注意力机制对各图像表示进行整合,得到实体基于图像的特征表示;

最后,基于结构的表示hs/ts和基于图像的表示hi/ti被统一在TransE平移距离模型的框架下进行学习,并通过反向传播更新知识语义向量和卷积神经网络的参数;

其中hs/ts和hi/ti分别为基于结构的和基于图像的头尾实体特征表示。

4.根据权利要求2所述的一种教育领域基于多模态融合的少样本知识图谱补全方法,其特征在于,从实体中抽取文本特征的步骤包括:首先为每个实体构建两种表示向量:第一种是基于结构的表示,使用hs和ts分别表示头实体和尾实体基于结构的表示;这种表示向量完全由知识图谱的结构信息决定,与之前平移模型学习到的分布式向量相似;

第二种是基于文本的表示,使用ht和tt分别表示头实体和尾实体基于文本的表示;通过将基于文本的特征表示与基于知识图谱三元组的结构化信息融合,实现文本空间与知识空间的对齐与联合训练;

采用最大间隔损失函数进行训练,最终得到基于文本的特征表示ht和tt。

5.根据权利要求2所述的一种教育领域基于多模态融合的少样本知识图谱补全方法,其特征在于,在分别学习到基于图像、文本和属性的特征表示后,对所有特征进行实体对齐后融合,最后得到融合多源信息的知识表示结果,其具体步骤包括:将基于图像、文本和属性的特征表示进行拼接作为模型输入,以双向的长短时记忆网络作为特征融合方法,按顺序编码图像、文本及属性的语义特征,生成组合表示,使用多模态融合方法来建模不同模态之间的交互作用,随后结合跨模态注意力机制,让单一模态特征以并行的方式与低秩融合模态学习模态之间的关联,进一步生成全面的实体特征表示;通过比对各个单一模态特征与实体整体特征表示,学习实体相似度,并不断更新实体整体特征表示;根据更新后的实体整体特征表示进行相似度的计算,最终确定最相似的实体对,并进行实体对齐;最终输出到一层全连接层的MLP网络中进行解码,得到多源信息融合的知识表示结果。

6.根据权利要求1所述的一种教育领域基于多模态融合的少样本知识图谱补全方法,其特征在于,通过提取邻接实体的语义特征形成邻接特征汇聚层,以补充中心节点语义特征的具体步骤包括:首先,通过实体及关系层级分步汇聚邻接节点特征,从而能够得到基于关系路径汇聚不同类型的语义特征信息;

其次,在关系层级特征汇聚部分,不同类型的语义信息将通过与实体连接的关系路径进行汇聚;

最后,使用注意力机制以获取不同关系路径的重要程度,以此选择性地汇聚重要的邻接节点特征。

7.一种存储介质,其特征在于:所述存储介质存储指令及数据用于实现权利要求1~6任一项所述的一种教育领域基于多模态融合的少样本知识图谱补全方法。

8.一种教育领域基于多模态融合的少样本知识图谱补全的装置,其特征在于,包括:处理器及存储介质;所述处理器加载并执行存储介质中的指令及数据用于实现权利要求1~6任一项所述的一种教育领域基于多模态融合的少样本知识图谱补全方法。