1.一种基于特征自适应融合的立定跳远阶段分类方法,其特征在于由下述步骤组成:(1)构建立定跳远数据集
在操场自然环境场景下采集学生立定跳远运动视频,将每一个完整的运动视频分割成
10个阶段剪辑,构建立定跳远阶段数据集{S0,S1,S2,S3,S4,S5,S6,S7,S8,S9},S0表示视频开始到摆臂最高点阶段,S1表示摆臂最高点到脚掌开始离地阶段,S2表示脚掌开始离地到全脚掌离地起跳阶段,S3表示全脚掌离地起跳到拉背弓阶段,S4表示拉背弓到大腿垂直地面阶段,S5表示大腿垂直地面到举腿膝最高点阶段,S6表示举腿膝最高点到脚后跟开始落地阶段,S7表示脚后跟开始落地到全脚掌落地阶段,S8表示全脚掌落地到骻骨最低点阶段,S9表示骻骨最低点到视频结束阶段,将数据集按3:1:1划分成训练集、验证集、测试集;
(2)运动信息自适应融合
将视频输入序列V分为等长的M个视频段V为{S1,S2,...,SM},每段选择相邻的f帧堆叠为{I1,I2,...,IM},相邻帧集中的f帧为 将其输入运动增强模块得到运动信息 每段的运动信息特征构成{ME1,ME2,...,MEM},与每f帧堆叠的第一帧为 以加性特征自适应融合方式馈送到视频分类网络,M为有限正整数,f取值为4;
(3)构建视频分类网络
视频分类网络由7×7的卷积层(1)与最大池化层(2)、第二阶段残差块(3)、第三阶段残差块(4)、第四阶段残差块(5)、第五阶段残差块(6)依次串联构成,第二阶段残差块(3)由3个残差基础块串联构成,第三阶段残差块(4)由4个残差基础块串联构成,第四阶段残差块(5)由6个残差基础块串联构成,第五阶段残差块(6)由3个残差基础块串联构成,每个残差基础块由1×1卷积层与双层池化时序注意力模块、3×3卷积层、1×1卷积层依次串联构成;
(4)训练视频分类网络
1)视频分类网络初始化
用Xavier方法初始化视频分类网络参数;
2)设置视频分类网络的超级参数
将训练集的视频帧尺寸大小调整为224×224;在训练过程中,数据批量为8,学习率为
0.0025,在36轮次学习率衰减为0.00025,后10次的学习率衰减为0.000025;
3)训练视频分类网络
将训练集中的所有视频输入视频分类网络,进行前向传播,按下式确定损失函数L:损失函数L为负对数似然损失;使用随机梯度下降方法降低损失值来进行反向传播,反复循环前向传播和反向传播,并更新视频分类网络的权重和偏置,直至损失函数收敛,训练结束,得到训练好的视频分类网络;
(5)检测测试集视频
将测试集输入到训练好的视频分类网络中,输出视频分类结果。
2.根据权利要求1所述的基于特征自适应融合的立定跳远阶段分类方法,其特征在于所述的(2)运动信息自适应融合步骤为:将视频输入序列V分为等长的M个视频段V为{S1,S2,...,SM},每段选择相邻的f帧堆叠为{I1,I2,...,IM},相邻帧集中的f帧为将其输入运动增强模块得到运动信息 每段的运动信息特征构成{ME1,ME2,...,MEM},与每f帧堆叠的第一帧为 以加性特征自适应融合方式馈送到视频分类网络,M取值为3~8。
3.根据权利要求1所述的基于特征自适应融合的立定跳远阶段分类方法,其特征在于:所述的(2)运动信息自适应融合中的加性特征自适应融合方式为:IM
按下式确定特征F :
IM
F =I+ME
其中,I为每f帧堆叠的第一帧集合RGB特征,ME为每f帧堆叠的相邻帧对通过运动增强ADP模块得到的映射特征,按下式确定特征融合结果F :ADP IIM MEIM
F =α1×F +α2×F
∑iαi=1
IIM IM MEIM IM
其中,特征F 由特征I与特征F 通道维按列拼接得到,特征F 由特征ME与特征F 通道维按列拼接得到,αi为归一化权重,ωi为初始化权重系数,ωj为特征权重,i∈{1,2},j∈{1,2},采用自适应可学习权重系数给不同的特征赋予权重。
4.根据权利要求1所述的基于特征自适应融合的立定跳远阶段分类方法,其特征在于:在(3)构建视频分类网络中,所述的双层池化时序注意力模块的构建方法为:该模块的输入特征为X0∈[N,T,C,H,W],N为批尺寸大小,T为特征的时间维度,C为通道数,H为空间维度上的长,W为空间维度上的宽,将张量维度换位为X1∈[N,C,T,H,W],按下式确定特征其中,n,c,t,h,w表示其相应维度所有取值,Conv1d()为一维卷积;
按下式确定时序注意力权重Ft:
按下式确定特征X2:
其中, 表示逐元素相加,⊙表示逐元素相乘;
按下式确定对时序位置敏感的重要性权重Fs:
其中,Relu()为线性整流激活函数,Sigmoid()为S型激活函数,K为卷积核大小、K取值为3,β为超参数、取值为2~8;
按下式确定特征X3:
保持与原始输入大小相同的特征输出,进行张量维度换位为X4∈[N,T,C,H,W]。