1.一种面向在线课堂的学习参与度智能评估方法,其特征在于,包括以下步骤:获取受教育者的在线学习数据,并对所述在线学习数据进行预处理,以生成连续的预设数量的图像数据;
通过预设的两分支网络学习所述预设数量的图像数据的大类样本特征和小类样本特征,并通过3D卷积神经网络对所述两分支网络输出的特征进行提取,获得每个图像数据的特征向量;
通过聚合模块CTAB对每个图像数据的特征向量进行加权处理,以获得所述每个图像数据对应的特征,所述聚合模块CTAB包括第一注意力模块和第二注意力模块,每个注意力模块包括一个过滤内核和一个非线性传输层;
基于每个图像数据对应的特征的相似性构造困难四元组,并通过所述困难四元组的有序度量损失函数和交叉熵损失函数对所述两分支网络的网络参数进行优化,其中,所述困难四元组表示为 ,通过如下公式构造所述困难四元组: ,, ,其中,是困难四元组的锚点特征样本, 是与 视觉特征相似度最小的正样本, 是与 视觉特征相似度最大的负样本, 是与 视觉特征相似度最大的负样本, 和 分别代表正、负样本对的序号集合;在得到所述困难四元组后,根据样本对的嵌入向量距离与其对应的参与度标签距离一致性有序原则,构造所述困难四元组的有序度量损失函数,其中,有序度量损失函数公式如下:其中, 为负样本对的相似度阈值, 为正样本对损失项和负样本对损失项的平衡参数, 是相似性函数;
将在线采集的受教育者的实时学习数据输入至优化后的两分支网络,获取受教育者的在线学习的参与度识别结果。
2.根据权利要求1所述的评估方法,其特征在于,所述两分支网络包括特征学习分支和类别重平衡分类学习分支,所述通过预设的两分支网络学习所述预设数量的图像数据的大类样本特征和小类样本特征,包括:所述特征学习分支通过均匀采样的方式对所述每个图像数据采样一次,并保持所述每个图像数据的特征的分布状态;
所述类别重平衡分类学习分支通过反向采样的方式,对所述预设数量的图像数据中的每一类图像进行采样,并学习采样样本的特征,其中,所述类别重平衡分类学习分支对于每一类图像数据的采样概率公式如下:其中, ,
其中, 表示第 类的图像数据的数量, 表示图像数据的最大样本数。
3.根据权利要求2所述的评估方法,其特征在于,通过预设的两分支网络学习所述预设数量的图像数据的大类样本特征和小类样本特征,还包括:通过适配器控制所述特征学习分支和类别重平衡分类学习分支在训练过程中的比重,其中,通过以下公式计算所述特征学习分支的比重:其中, 为训练周期总数, 为当前训练周期的次序。
4.根据权利要求1所述的评估方法,其特征在于,所述通过聚合模块CTAB对每个图像数据的特征向量进行加权处理,包括:将所述每个图像数据的特征向量输入至所述第一注意力模块,与所述第一注意力模块的内核进行点积操作,获得与每个特征向量对应的第一显性向量;
将每个第一显性向量输入至所述第一注意力模块的非线性传输层进行转换后,输入至所述第二注意力模块,并与所述第二注意力模块的内核进行点积操作后,输入至所述第二注意力模块的非线性传输层进行转换,以得到与所述每个第一显性向量对应的第二显性向量;
将每个第二显性向量输入以下公式计算所述每个图像数据的权重值:其中, 是任一图像数据 的第二显性向量, 是图像数据的预设数量;
将每个图像数据的权重值乘以对应的所述特征向量,获得所述每个图像数据对应的特征。
5.根据权利要求1所述的评估方法,其特征在于,通过以下公式对所述两分支网络的网络参数进行优化:
其中, 是有序度量损失函数和交叉熵损失函数的联合优化目标函数, 是所述有序度量损失函数, 是所述交叉熵损失函数, 为损失项的平衡参数。
6.一种面向在线课堂的学习参与度智能评估装置,其特征在于,包括:第一获取模块,用于获取受教育者的在线学习数据,并对所述在线学习数据进行预处理,以生成连续的预设数量的图像数据;
第二获取模块,用于通过预设的两分支网络学习所述预设数量的图像数据的大类样本特征和小类样本特征,并通过3D卷积神经网络对所述两分支网络输出的特征进行提取,获得每个图像数据的特征向量;
加权模块,用于通过聚合模块CTAB对每个图像数据的特征向量进行加权处理,以获得所述每个图像数据对应的特征,所述聚合模块CTAB包括第一注意力模块和第二注意力模块,每个注意力模块包括一个过滤内核和一个非线性传输层;
优化模块,用于基于每个图像数据对应的特征的相似性构造困难四元组,并通过所述困难四元组的有序度量损失函数和交叉熵损失函数对所述两分支网络的网络参数进行优化,其中, 所述困难四元组表示为 ,所述优化模块具体用于通过如下公式构造所述困难四元组: , , ,其中, 是困难四元组的锚点特征样本, 是与 视觉特征相似度最小的正样本, 是与 视觉特征相似度最大的负样本, 是与 视觉特征相似度最大的负样本, 和 分别代表正、负样本对的序号集合;所述优化模块还用于根据样本对的嵌入向量距离与其对应的参与度标签距离一致性有序原则,构造所述困难四元组的有序度量损失函数,其中,有序度量损失函数公式如下:
其中, 为负样本对的相似度阈值, 为正样本对损失项和负样本对损失项的平衡参数, 是困难四元组的锚点特征样本, 是与 视觉特征相似度最小的正样本, 是与 视觉特征相似度最大的负样本, 是与 视觉特征相似度最大的负样本, 是相似性函数;
第三获取模块,用于将在线采集的受教育者的实时学习数据输入至优化后的两分支网络,获取受教育者的在线学习的参与度识别结果。
7.根据权利要求6所述的评估装置,其特征在于,所述两分支网络包括特征学习分支和类别重平衡分类学习分支,所述第二获取模块还包括:特征学习分支单元,用于通过均匀采样的方式对所述每个图像数据采样一次,并保持所述每个图像数据的特征的分布状态;
类别重平衡分类学习分支单元,用于通过反向采样的方式对所述预设数量的图像数据中的每一类图像进行采样,并学习采样样本的特征,其中,所述类别重平衡分类学习分支对于每一类图像数据的采样概率公式如下:其中, ,
其中, 表示第 类的图像数据的数量, 表示图像数据的最大样本数。
8.根据权利要求7所述的评估装置,其特征在于,所述第二获取模块还用于:通过适配器控制所述特征学习分支和类别重平衡分类学习分支在训练过程中的比重,其中,通过以下公式计算所述特征学习分支的比重:其中, 为训练周期总数, 为当前训练周期的次序。
9.根据权利要求6所述的评估装置,其特征在于,所述加权模块具体用于:将所述每个图像数据的特征向量输入至所述第一注意力模块,并将每个特征向量与所述第一注意力模块的内核进行点积操作,以获得与所述每个特征向量对应的第一显性向量;
将每个第一显性向量输入至所述第一注意力模块的非线性传输层进行转换后,输入至所述第二注意力模块,并与所述第二注意力模块的内核进行点积操作后,输入至所述第二注意力模块的非线性传输层进行转换,以得到与所述每个第一显性向量对应的第二显性向量;
将每个第二显性向量输入以下公式计算所述每个图像数据的权重值:其中, 是任一图像数据 的第二显性向量, 是图像数据的预设数量;
将每个图像数据的权重值乘以对应的所述特征向量,获得所述每个图像数据对应的特征。
10.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1‑5中任一所述的面向在线课堂的学习参与度智能评估方法。