1.一种基于大语言模型结构学习与知识表征的概念推荐方法,其特征在于,包括以下步骤:
S1:从在线教育平台中获取学生账户在学习过程中的学习数据和相关的概念知识图谱,并对学习数据和概念知识图谱进行预处理;
S2:利用大语言模型生成概念知识图谱中每个概念的增强文本,使用预训练语言模型对增强文本进行文本编码,得到每个概念的最终隐藏向量,由最终隐藏向量更新概念知识图谱中的节点,得到增强概念知识图谱,将增强概念知识图谱输入到GraphGPS概念编码器中,采用双视角交叉图对比学习方法对GraphGPS概念编码器进行预训练,得到预训练好的GraphGPS概念编码器;
S3:随机采样学生账户的学习数据作为TabDDPM模型的输入,通过反向扩散过程生成合成的教育数据,将合成的教育数据与学生账户的学习数据合并形成知识追踪数据集,在知识追踪数据集上预训练深度知识追踪模型;
S4:将新的概念知识图谱输入到预训练好的GraphGPS概念编码器中,输出每个时间步的结构感知的概念表示,将新的学习数据输入到预训练好的深度知识追踪模型中,输出每个时间步的学生知识状态表示,对新的学生学习数据进行嵌入,得到每个时间步的问题嵌入以及答案嵌入,将每个时间步的问题嵌入、答案嵌入、结构感知的概念表示以及学生知识状态表示拼接,得到每个时间步的最终表示,由对应每个学习数据的各个时间步的最终表示构成一个学习数据的编码序列;
S5:将学习数据的编码序列输入到序列编码模型中进行预训练,基于预训练好的GraphGPS概念编码器、深度知识追踪模型以及序列编码模型微调可学习的概念推荐矩阵,由预训练好的GraphGPS概念编码器、深度知识追踪模型以及序列编码模型以及微调好的概念推荐矩阵构成概念推荐模型,将待进行概念推荐的学生学习数据输入到概念推荐模型中,计算每个概念的得分,生成在线教育平台针对学生账户的概念推荐结果,并按照预设方式推送至在线教育平台的用户界面中。
2.如权利要求1所述的一种基于大语言模型结构学习与知识表征的概念推荐方法,其特征在于,步骤S1的具体过程包括:
S11:从在线教育平台的数据库中获取学生账户在学习过程中的学习数据和概念知识图谱,学生账户的学习数据包括学生的答题记录、学习行为数据以及学习时间,概念知识图谱包括概念的名称、定义、前置概念和后继概念;
S12:对学习数据进行清洗,去除无关或冗余的学习行为数据,保留与学习过程相关的答题记录,然后对缺失的学习数据进行插值,最后去除学习数据中的异常值和噪声,得到预处理后的学习数据;
S13:对概念知识图谱中的每个概念进行标准化表示,处理概念知识图谱中概念之间的关系,修正和增强存在不完整或不准确的关系,将标准化表示后的每个概念作为预处理后的概念知识图谱中的节点,将处理后的概念之间的关联信息作为预处理后的概念知识图谱中的边,得到预处理后的概念知识图谱。
3.如权利要求1所述的一种基于大语言模型结构学习与知识表征的概念推荐方法,其特征在于,步骤S2中,采用双视角交叉图对比学习方法预训练GraphGPS概念编码器的过程中,由数据增强方法和基于图对比学习的模型增强技巧对增强概念知识图谱进行处理,对应生成数据增强图和模型增强图,由基于剪枝的模型增强方法对GraphGPS概念编码器进行扰动,得到扰动编码器,由GraphGPS概念编码器分别对数据增强图和模型增强图进行处理,对应得到第一编码表征和第三编码表征,由扰动编码器分别对数据增强图和模型增强图进行处理,对应得到第二编码表征和第四编码表征,将四个编码表征各自经过一个两层MLP构成的投影层,每个编码表征对应得到一个编码结果,将来自于相同增强概念知识图谱且采用相同数据增强方法经过不同编码器进行处理的两个编码结果作为正样本对,将来自于不同增强概念知识图谱且由采用相同数据增强方法进行处理的两个编码结果作为负样本对,基于构建好的正负样本对计算NT-Xent损失,以更新GraphGPS概念编码器参数。
4.如权利要求3所述的一种基于大语言模型结构学习与知识表征的概念推荐方法,其特征在于,基于剪枝的模型增强方法具体为基于权重剪枝的增强方法、基于层剪枝的增强方法或基于注意力头剪枝的增强方法中的一种或者几种,其中,基于权重剪枝的增强方法采用L1非结构化剪枝方法。
5.如权利要求4所述的一种基于大语言模型结构学习与知识表征的概念推荐方法,其特征在于,基于层剪枝的增强方法使用第一伯努利随机变量以及残差连接实现,第一伯努利随机变量来决定Transformer架构的每一层是否保留。
6.如权利要求4所述的一种基于大语言模型结构学习与知识表征的概念推荐方法,其特征在于,基于注意力头剪枝的增强方法使用Transformer架构每个注意力头的伯努利随机变量实现,每个注意力头的伯努利随机变量用来决定Transformer架构的每个注意力头是否保留。
7.如权利要求1所述的一种基于大语言模型结构学习与知识表征的概念推荐方法,其特征在于,步骤S3中,预训练深度知识追踪模型的过程中,将知识追踪数据集中的数据输入到深度知识追踪模型中,先由循环神经网络进行编码,得到学习历史并将其输入门控循环单元中,得到学生知识状态表示。
8.如权利要求1所述的一种基于大语言模型结构学习与知识表征的概念推荐方法,其特征在于,步骤S4中,将新的学习数据中答题记录的题目序号依次经过两个MLP,得到问题嵌入,将新的学生学习数据中答题记录的回答经过两个MLP,得到答案嵌入。
9.如权利要求1所述的一种基于大语言模型结构学习与知识表征的概念推荐方法,其特征在于,步骤S5中,在序列编码模型的预训练过程中,先对学习数据的编码序列进行多头注意力计算,将多头注意力计算结果输入到前馈网络进行序列编码,得到各个时间步的序列编码结果,并基于最小化序列编码损失更新序列编码模型参数。
10.如权利要求1所述的一种基于大语言模型结构学习与知识表征的概念推荐方法,其特征在于,步骤S5中,在概念推荐矩阵的微调过程中,由预训练好的GraphGPS概念编码器重新生成结构感知的概念表示,由预训练好的深度知识追踪模型重新生成学生知识状态表示,重新生成问题嵌入以及答案嵌入后,将重新生成的问题嵌入、答案嵌入、结构感知的概念表示以及学生知识状态表示拼接,重新得到最终表示并构成新的编码序列,由预训练好的序列编码模型对新的编码序列进行序列编码,重新生成序列编码结果,将重新生成的序列编码结果与可学习的概念推荐矩阵相乘,计算所有概念的得分,并采用交叉熵损失对概念推荐矩阵进行更新。