1.一种基于具身多模态数据推理的学习者计算思维路径规划方法,其特征在于,包括:获取学习者学习目标任务的上下文信息以及实时的视觉行为数据、思考过程数据和行动执行数据;
基于所述视觉行为数据、思考过程数据和行动执行数据,确定所述学习者的认知状态信息;
提取所述目标任务的第一知识实体;
将所述第一知识实体与预设的计算思维超图中的第二知识实体进行匹配,并将与所述第一知识实体相匹配的第二知识实体作为目标知识实体,其中,所述预设的计算思维超图用于表征学习者在学习过程中的知识结构与认知状态信息之间的关系;
基于所述认知状态信息和所述目标知识实体,在所述预设的计算思维超图进行协同推理,生成知识节点路径序列;
融合所述知识节点路径序列、所述上下文信息和所述认知状态信息,生成具身化教学行动序列。
2.根据权利要求1所述的基于具身多模态数据推理的学习者计算思维路径规划方法,其特征在于,所述基于所述视觉行为数据、思考过程数据和行动执行数据,确定所述学习者的认知状态信息,包括:根据所述视觉行为数据确定视觉感知负荷程度,根据所述思考过程数据确定思考推理压力感知度,以及根据所述行动执行数据确定行动执行挫折感强度;
基于所述视觉感知负荷程度、所述思考推理压力感知度和所述行动执行挫折感强度,得到认知负荷水平信息;
基于所述视觉行为数据、思考过程数据和行动执行数据,构建学习者的画像信息;
将所述认知负荷水平信息和所述画像信息进行组合,得到所述学习者的认知状态信息。
3.根据权利要求2所述的基于具身多模态数据推理的学习者计算思维路径规划方法,其特征在于,所述基于所述视觉行为数据、思考过程数据和行动执行数据,构建学习者的画像信息,包括:获取所述学习者的技能状态和问题解决进度;
获取所述学习者在学习所述目标任务过程中的错误模式;
基于所述视觉行为数据、思考过程数据和行动执行数据,计算所述学习者的协同投入度;
根据所述技能状态、问题解决进度、错误模式和所述协同投入度,构建得到所述学习者的画像信息。
4.根据权利要求1所述的基于具身多模态数据推理的学习者计算思维路径规划方法,其特征在于,所述将所述第一知识实体与预设的计算思维超图中的第二知识实体进行匹配,包括:获取所述第一知识实体的第一多模态特征以及获取所述第二知识实体的第二多模态特征;
计算所述第一多模态特征与所述第二多模态特征之间的相似度;
根据所述相似度确定与所述第一知识实体相匹配的第二知识实体。
5.根据权利要求1所述的基于具身多模态数据推理的学习者计算思维路径规划方法,其特征在于,所述预设的计算思维超图中的每个节点对应一个第二知识实体;
所述基于所述认知状态信息和所述目标知识实体,在所述预设的计算思维超图进行协同推理,生成知识节点路径序列,包括:将所述目标知识实体对应的节点作为推理的起始节点,并将所述起始节点作为知识节点路径序列中的起始节点路径;
在所述预设的计算思维超图中,将与所述起始节点具有关联关系的多个邻居节点确定为多个候选后继节点;
基于所述认知状态信息,计算每个所述候选后继节点的注意力权重,并选择最大的注意力权重对应的所述候选后继节点作为目标后继节点;
将所述目标后继节点作为节点路径添加至所述知识节点路径序列中,得到新的知识节点路径序列;
在所述新的知识节点路径序列满足预设的路径终止条件的情况下,将所述新的知识节点路径序列作为最终的知识节点路径序列;
在所述新的知识节点路径序列不满足预设的路径终止条件的情况下,将所述目标后继节点作为新的起始节点,返回执行确定多个候选后继节点的步骤,以进行下一轮的推理,直至满足预设的路径终止条件。
6.根据权利要求5所述的基于具身多模态数据推理的学习者计算思维路径规划方法,其特征在于,所述基于所述认知状态信息,计算每个所述候选后继节点的注意力权重,包括:获取所述起始节点的第一特征表示、每个所述候选后继节点的第二特征表示以及所述认知状态信息对应的状态向量;
基于所述第一特征表示和预设的第一可学习参数矩阵生成查询向量,并基于所述第二特征表示和预设的第二可学习参数矩阵生成键向量;
将每个所述键向量、所述查询向量和所述状态向量进行拼接,得到每个候选后继节点的拼接向量;
基于每个所述候选后继节点对应的所述拼接向量,计算每个所述候选后继节点的注意力得分;
对每个所述候选后继节点的注意力得分进行归一化处理,得到每个所述候选后继节点注意力权重。
7.根据权利要求1所述的基于具身多模态数据推理的学习者计算思维路径规划方法,其特征在于,所述融合所述知识节点路径序列、所述上下文信息和所述认知状态信息,生成具身化教学行动序列,包括:对所述上下文信息与所述认知状态信息进行协同语义对齐,得到状态对齐信息;
对所述上下文信息与所述知识节点路径序列进行协同语义对齐,得到路径对齐信息;
将所述上下文信息、所述状态对齐信息及所述路径对齐信息进行加权融合,得到融合信息;
将所述融合信息输入至预设的序列译码器,生成具身化教学行动序列,其中,所述具身化教学行动序列包括与所述知识节点路径序列中各个节点路径对应的视觉提示指令、思考引导指令和操作指令。
8.一种基于具身多模态数据推理的学习者计算思维路径规划装置,其特征在于,所述装置包括:数据获取模块,用于获取学习者学习目标任务的上下文信息以及实时的视觉行为数据、思考过程数据和行动执行数据;
状态信息确定模块,用于基于所述视觉行为数据、思考过程数据和行动执行数据,确定所述学习者的认知状态信息;
实体提取模块,用于提取所述目标任务的第一知识实体;
实体匹配模块,用于将所述第一知识实体与预设的计算思维超图中的第二知识实体进行匹配,并将与所述第一知识实体相匹配的第二知识实体作为目标知识实体,其中,所述预设的计算思维超图用于表征学习者在学习过程中的知识结构与认知状态信息之间的关系;
协同推理模块,用于基于所述认知状态信息和所述目标知识实体,在所述预设的计算思维超图进行协同推理,生成知识节点路径序列;
行动序列生成模块,用于融合所述知识节点路径序列、所述上下文信息和所述认知状态信息,生成具身化教学行动序列。
9.一种电子设备,其特征在于,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如权利要求1至7中任一项所述的基于具身多模态数据推理的学习者计算思维路径规划方法。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于具身多模态数据推理的学习者计算思维路径规划方法。