1.一种基于大模型的知识图谱模态缺失下的概念推荐方法,其特征在于,包括:
S1、基于在线学习平台上每个学生用户的历史学习记录,获取每个学生用户学习过的所有多模态学习资料并进行多模态编码,采用GraphGPS编码机制对以多模态学习资料为节点的图进行融合,将图中的节点特征由原始的多模态特征更新为融合局部和全局信息的融合特征;
S2、基于在线学习平台上每个学生用户的历史学习记录,在知识图谱中构建在线学生节点、多模态学习资料节点、多模态学习资料节点中所包含的主要概念节点,并建立边连接;利用大语言模型生成每个主要概念的解释文本,将主要概念解释文本的编码特征作为主要概念节点的节点特征,而多模态学习资料节点的节点特征采用所述融合特征,同时在主要概念节点上记录学生用户对这个主要概念的理解状态标记值;然后基于语义知识库查找每个主要概念的所属类别集合、前置概念集合、后置概念集合,并基于编码特征相似度从三个集合中各自筛选一部分与主要概念最相关的所属类别、前置概念和后置概念,扩充为对应的主要概念节点的邻域节点,从而得到多模态知识图谱;
S3、针对多模态知识图谱中存在节点特征缺失的多模态学习资料节点,利用基于信道置信度的离线知识图谱特征补全方法,按照信道质量评估获得的信道置信度,以先通道内扩散恢复节点特征再在通道间传播细化节点特征的方式,逐个模态对特征缺失节点进行节点特征补全,将获得的缺失节点特征整合补全至多模态知识图谱中;
S4、在目标学生用户在线学习过程中,通过在线学习者模型生成不同历史时间步的学习者模型表示,每个历史时间步的学习者模型表示由这一历史时间步中目标学生用户交互的多模态学习资料中所有未理解主要概念的节点特征表示加权得到;再将每个历史时间步中前置概念节点特征、后置概念节点特征、所属类别节点特征、主要概念节点特征、学习者模型表示依次拼接,构成每个历史时间步的最终表示;通过自注意力Transformer模型对所述最终表示的时序序列进行编码,再通过预测头输出所有概念的推荐得分,从而生成推荐结果。
2.如权利要求1所述的基于大模型的知识图谱模态缺失下的概念推荐方法,其特征在于,所述多模态学习资料中包含文本、图像、视频和音频四种模态,各自采用相应编码器进行编码后,构成多模态学习资料对应的多模态特征。
3.如权利要求1所述的基于大模型的知识图谱模态缺失下的概念推荐方法,其特征在于,所述S1中,采用GraphGPS编码机制对图进行融合的方法为:以在线学习平台上所有的多模态学习资料作为图节点,按照学生用户对于多模态学习资料的交互信息,对图中与同一个学生用户产生过交互的节点建立边连接,从而构建学习资料图谱,且学习资料图谱中的节点特征为相应多模态学习资料的所述多模态特征;采用GraphGPS编码机制对学习资料图谱进行融合,将图中的节点特征由原始的多模态特征更新为融合局部和全局信息的融合特征。
4.如权利要求1所述的基于大模型的知识图谱模态缺失下的概念推荐方法,其特征在于,所述S2中,多模态知识图谱内对节点建立边连接时,需要根据每个学生用户的历史学习记录,将每个在线学生节点和与其产生过交互的每个多模态学习资料节点进行边连接,将每个多模态学习资料节点和自身包含的每个主要概念节点进行边连接,同时需要每个主要概念分别与筛选出来的每个所属类别节点、每个前置概念节点、每个后置概念节点进行边连接,图中节点之间的边连接关系记录于多模态知识图谱的邻接矩阵中。
5.如权利要求1所述的基于大模型的知识图谱模态缺失下的概念推荐方法,其特征在于,所述多模态知识图谱中,每个主要概念节点上均需要根据历史学习记录中的答题正误情况,记录学生用户在不同时间步中对这个主要概念的理解状态标记值,其中理解状态标记值分为未理解、已理解、尚未交互学习三种。
6.如权利要求1所述的基于大模型的知识图谱模态缺失下的概念推荐方法,其特征在于,所述S3中,针对任意一个模态,利用基于信道置信度的离线知识图谱特征补全方法,补全多模态知识图谱中该模态的缺失节点特征的具体步骤为:S31、针对当前的待补全模态,从多模态知识图谱中提取待补全模态的所有特征通道,然后逐个特征通道计算每个多模态学习资料节点距离最近源节点的最短路径距离,所述最近源节点为在被计算特征通道中有特征值且距离被计算多模态学习资料节点最近的多模态学习资料节点;分别针对每个特征通道,通过底数范围为(0,1)的幂运算将最短路径距离转换为置信度;
S32、针对每个特征通道,计算任意两个多模态学习资料节点在这个特征通道中的置信度比值,并作为节点之间的相对置信度记录于这个特征通道的加权邻接矩阵中,对加权邻接矩阵采用行随机归一化操作,获得归一化加权邻接矩阵,利用归一化加权邻接矩阵对当前最新的多模态知识图谱进行逐通道节点间扩散,将每个特征通道中其他节点的特征值扩散至缺失的多模态学习资料节点中;迭代扩散多次,获得多模态知识图谱中所有多模态学习资料节点的初始恢复特征;
S34、基于所述初始恢复特征,计算任意两个特征通道之间的特征相关系数,然后针对每个多模态学习资料节点,通过将对应的特征相关系数进行转换计算得到从一个特征通道到另一个特征通道的有向边权重,并将特征通道之间的有向边权重记录于权重邻接矩阵中;利用权重邻接矩阵对当前最新的多模态知识图谱中每个节点进行通道间传播,将各信道的平均节点特征扩散至每个特征通道中缺失的多模态学习资料节点中;迭代扩散多次,获得多模态知识图谱中所有多模态学习资料节点的最终恢复特征;
S35、针对多模态知识图谱中在当前模态下存在节点特征缺失的多模态学习资料节点,利用对应的所述最终恢复特征补全节点特征。
7.如权利要求1所述的基于大模型的知识图谱模态缺失下的概念推荐方法,其特征在于,所述S4中,将所有未理解主要概念的节点特征表示加权得到学习者模型表示时,每个未理解主要概念采用的权值为这个未理解主要概念的节点特征表示与多模态学习资料的节点特征表示之间的余弦距离。
8.一种基于大模型的知识图谱模态缺失下的概念推荐系统,其特征在于,包括:
学习记录采集模块,用于收集在线学习平台上每个学生用户的历史学习记录;
推荐对象指定模块,用于通过GUI界面供管理用户指定需要进行概念推荐的学生用户;
概念推荐模块,用于根据所述推荐对象指定模块中指定的学生用户,从所述学习记录采集模块中获取指定学生用户对应的历史学习记录,然后按照如权利要求1~7任一项所述的基于大模型的知识图谱模态缺失下的概念推荐方法,向指定学生用户推荐建议下一步学习的概念。
9.一种计算机可读存储介质,其特征在于,所述存储介质上存储有计算机程序,当所述计算机程序被处理器执行时,实现如权利要求1~7任一项所述的基于大模型的知识图谱模态缺失下的概念推荐方法。
10.一种计算机电子设备,其特征在于,包括存储器和处理器;
所述存储器,用于存储计算机程序;
所述处理器,用于当执行所述计算机程序时,实现如权利要求1~7任一项所述的基于大模型的知识图谱模态缺失下的概念推荐方法。