1.一种基于参考超分辨率的多视角学习者行为检测与干预方法,其特征在于,包括:获取对学习者正面角度拍摄得到的教学视频,以及对所述学习者非正面角度的多个其它角度拍摄得到的多个参考视频;
通过视频超分辨率将所述多个参考视频中的与所述教学视频相似的纹理,迁移到所述教学视频中,得到重建视频;
从所述重建视频中提取时空特征,以及所述学习者的人体骨骼特征;
根据所述时空特征与所述人体骨骼特征确定所述学习者的异常行为;
根据所述异常行为的时间占比与干预方向确定对所述学习者的干预方法;
所述通过视频超分辨率将所述多个参考视频中的与所述教学视频相似的纹理,迁移到所述教学视频中,得到重建视频,包括:在同一时间戳下,将所述教学视频中的视频帧作为目标帧,将每个所述参考视频中的视频帧作为参考帧;
基于可变形卷积的多视角特征对齐利用CSH搜索算法确定相似纹理并扭曲所述参考帧,利用调制可变形卷积进一步将所述参考帧与所述目标帧对齐;
基于注意力的动态聚合将已对齐的所述参考帧中的相似纹理自适应聚合到所述目标帧,得到重建帧;
根据每个时间戳下的重建帧确定重建视频;
基于注意力的动态聚合模块的表达式为:
;
其中,一个基于注意力的动态聚合模块由若干个动态过滤模块以及一个增强注意力模块组成;动态过滤模块利用空间注意力和通道注意力自适应的动态聚合每个像素点周边的特征信息并借助空间注意力机制增强纹理特征,从而更有效的融合相关纹理特征;为了保障训练过程中的稳定性,防止梯度爆炸和梯度消失,增加了过滤器归一化层,表达式如下:;
;
其中,、为归一化前生成的空间滤波器和通道滤波器,和计算滤波器的均值和标准差,、、、为与批处理归一化中的系数相似的运行标准差和均值。
2.根据权利要求1所述的一种基于参考超分辨率的多视角学习者行为检测与干预方法,其特征在于,所述基于注意力的动态聚合将已对齐的所述参考帧中的相似纹理自适应聚合到所述目标帧,得到重建帧,包括:基于注意力的动态聚合将已对齐的所述参考帧中的相似纹理自适应聚合,得到聚合特征;
将所述聚合特征先经过以重构损失训练的模型,再将所述聚合特征重新嵌入到以重构损失、感知损失以及对抗损失监督下的模型特征聚合过程中,最后经过输出卷积层,得到重建帧。
3.根据权利要求1所述的一种基于参考超分辨率的多视角学习者行为检测与干预方法,其特征在于,所述从所述重建视频中提取时空特征,以及所述学习者的人体骨骼特征,包括:利用由3D卷积构成的时空特征提取器,从所述重建视频中提取时间特征与空间特征;
利用由底至上的姿态估计方法,从所述重建视频中提取人体骨骼特征。
4.根据权利要求3所述的一种基于参考超分辨率的多视角学习者行为检测与干预方法,其特征在于,还包括:利用由底至上的姿态估计方法生成的热图作为目标热图,在预设的边界框下,将所述目标热图进行零填充以匹配所述教学视频中的视频帧,将所述目标热图在时间维度上堆叠形成三维骨骼目标热图。
5.根据权利要求4所述的一种基于参考超分辨率的多视角学习者行为检测与干预方法,其特征在于,所述根据所述时空特征与所述人体骨骼特征确定所述学习者的异常行为,包括:将所述三维骨骼目标热图输入第一SlowFast特征处理框架;
将所述时空特征输入第二SlowFast特征处理框架;
在所述第一SlowFast特征处理框架输出的特征映射与所述第二SlowFast特征处理框架输出的特征映射通过全局最大池化前,将两种特征映射进行侧向交互,以促进所述时空特征与所述人体骨骼特征之间的早期聚合;
在所述第一SlowFast特征处理框架输出的特征映射与所述第二SlowFast特征处理框架输出的特征映射通过全局最大池化后,输入全连接层,并输出行为分类结果,以确定所述学习者的异常行为。
6.根据权利要求1所述的一种基于参考超分辨率的多视角学习者行为检测与干预方法,其特征在于,所述根据所述异常行为的时间占比与干预方向确定对所述学习者的干预方法,包括:根据所述异常行为的出现时间、持续时间以及预设的课程时间确定异常行为的时间占比;
根据出现异常行为的学习者的人数,及对应的异常行为时间占比,针对不同的干预方向确定对出现异常行为的学习者的干预方法。
7.一种基于参考超分辨率的多视角学习者行为检测与干预装置,其特征在于,包括:视频获取单元,用于获取对学习者正面角度拍摄得到的教学视频,以及对所述学习者非正面角度的多个其它角度拍摄得到的多个参考视频;
视频重建单元,用于通过视频超分辨率将所述多个参考视频中的与所述教学视频相似的纹理,迁移到所述教学视频中,得到重建视频;
特征提取单元,用于从所述重建视频中提取时空特征,以及所述学习者的人体骨骼特征;
异常行为确定单元,用于根据所述时空特征与所述人体骨骼特征确定所述学习者的异常行为;
干预方法确定单元,用于根据所述异常行为的时间占比与干预方向确定对所述学习者的干预方法;
所述通过视频超分辨率将所述多个参考视频中的与所述教学视频相似的纹理,迁移到所述教学视频中,得到重建视频,包括:在同一时间戳下,将所述教学视频中的视频帧作为目标帧,将每个所述参考视频中的视频帧作为参考帧;
基于可变形卷积的多视角特征对齐利用CSH搜索算法确定相似纹理并扭曲所述参考帧,利用调制可变形卷积进一步将所述参考帧与所述目标帧对齐;
基于注意力的动态聚合将已对齐的所述参考帧中的相似纹理自适应聚合到所述目标帧,得到重建帧;
根据每个时间戳下的重建帧确定重建视频;
基于注意力的动态聚合模块的表达式为:
;
其中,一个基于注意力的动态聚合模块由若干个动态过滤模块以及一个增强注意力模块组成;动态过滤模块利用空间注意力和通道注意力自适应的动态聚合每个像素点周边的特征信息并借助空间注意力机制增强纹理特征,从而更有效的融合相关纹理特征;为了保障训练过程中的稳定性,防止梯度爆炸和梯度消失,增加了过滤器归一化层,表达式如下:;
;
其中,、为归一化前生成的空间滤波器和通道滤波器,和计算滤波器的均值和标准差,、、、为与批处理归一化中的系数相似的运行标准差和均值。
8.一种电子设备,其特征在于,包括处理器以及存储器;
所述存储器用于存储程序;
所述处理器执行所述程序实现如权利要求1至6中任一项所述的方法。
9.一种计算机可读存储介质,其特征在于,所述存储介质存储有程序,所述程序被处理器执行实现如权利要求1至6中任一项所述的方法。