欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025101822181
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于双支路多尺度特征融合的新生儿肢体动作识别方法,其特征在于:包括以下步骤,S1、采集不同肢体动作状态下的新生儿视频,将视频按照时间间隔T进行分段得到视频段,并将每个视频段的第一帧作为关键帧,检测关键帧中新生儿的关键肢体部位包括头部、上肢和下肢,生成相应的边界框,标注新生儿肢体动作标签,将视频段和标签整合,构建新生儿肢体动作视频样本集;

S2、构建基于双支路多尺度特征融合的新生儿肢体动作识别模型,基于双支路多尺度特征融合的新生儿肢体动作识别模型包括第一支路特征提取网络、第二支路特征提取网络、特征融合模块和分类器,其中:第一支路特征提取网络:采用深度卷积神经网络Net1对输入的视频段在N个层次分别提取动作特征F1,p,其中,p=1,2,...,N,并将第N个层次提取的动作特征F1,N输出给特征融合模块;其中,N的取值范围为3~5的整数;

第二支路特征提取网络:对输入的视频段进行间隔抽帧得到低帧率视频,低帧率视频由深度卷积神经网络Net2在N个层次分别提取动作特征F2,p,并将前3个层次提取的动作特征F2,p与动作特征F1,p对应分别引入多尺度卷积注意力机制得到的特征再与动作特征F2,p残差连接后得到残差连接特征Fr,p,作为深度卷积神经网络Net2中下一3D残差块的输入特征,将第N个层次提取的动作特征F2,N输出给特征融合模块;

特征融合模块:用于将第一支路特征提取网络和第二支路特征提取网络在第N层次输出的新生儿肢体动作特征进行特征融合,得到融合后的特征F;

分类器:对融合后的特征F进行分类识别并输出肢体动作类别;

S3、使用步骤S1得到新生儿肢体动作视频样本集对步骤S2构建的基于双支路多尺度特征融合的新生儿肢体动作识别模型进行训练,得到新生儿肢体动作识别模型;

S4、利用步骤S3得到的新生儿肢体动作识别模型对新输入的测试视频进行动作识别。

2.如权利要求1基于双支路多尺度特征融合的新生儿肢体动作识别方法,其特征在于:步骤S1中,新生儿肢体动作标签包括头部晃动、手指张开、握拳、手臂挥动、蹬腿和静止不动。

3.如权利要求1基于双支路多尺度特征融合的新生儿肢体动作识别方法,其特征在于:步骤S1中,时间间隔T的取值范围为8帧~64帧。

4.如权利要求1-3任一项基于双支路多尺度特征融合的新生儿肢体动作识别方法,其特征在于:步骤S2中,第二支路特征提取网络包括抽帧模块、深度卷积神经网络Net2、3个多尺度卷积注意力模块和3个残差连接模块,抽帧模块:对输入的视频段进行间隔抽帧得到低帧率视频输出给深度卷积神经网络Net2;

深度卷积神经网络Net2:对低帧率视频在N个层次分别提取得到动作特征F2,p;

多尺度卷积注意力模块:分别对输入的动作特征F1,p和动作特征F2,p对应引入多尺度卷积注意力机制并输出多尺度特征张量Fp`;

残差连接模块:分别将输入的多尺度特征张量Fp`与深度卷积神经网络Net2的前一层次输出的动作特征F2,p残差连接后输出给深度卷积神经网络Net2的后一层次的3D残差块中。

5.如权利要求4基于双支路多尺度特征融合的新生儿肢体动作识别方法,其特征在于:多尺度卷积注意力模块中,分别对输入的动作特征F1,p和动作特征F2,p对应引入多尺度卷积注意力机制并输出多尺度特征张量Fp`,具体为,

1)将动作特征F1,p和动作特征F2,p在通道维度上进行拼接,得到特征张量Fp;

2)运用多尺度卷积注意力机制得到特征张量Fp的注意力权重ωp为:

其中,σ表示Sigmoid激活函数,Conv1×1×1表示卷积核为1×1×1的逐点卷积,L是深度可分离卷积的个数,L∈{2,3,4,5};DWj表示第j个带状卷积核为k×1×1、1×k×1和1×1×k的深度可分离卷积,k∈{3,5,7,9,11};

3)将注意力权重ωp逐通道与特征张量Fp相乘,并经过卷积核为1×1×1的逐点卷积进行卷积处理,输出多尺度特征张量Fp′为:Fp′=Conv1×1×1(ωp·Fp)

其中,Conv1×1×1表示卷积核为1×1×1的逐点卷积。

6.如权利要求1-3任一项基于双支路多尺度特征融合的新生儿肢体动作识别方法,其特征在于:特征融合模块包括SE注意力模块和高效特征融合块,SE注意力模块:分别对第一特征提取网络和第二支路特征提取在第N层次的输出采用挤压激励操作得到增强后的第一动作特征张量与增强后的第二动作特征特征张量;

高效特征融合块:分别对增强后的第一动作特征张量与增强后的第二动作特征张量,进行自适应池化操作和卷积处理后,得到卷积后的第一动作特征与卷积后的第二动作特征,采用激活函数Sigmoid得到权重,并将权重逐通道分别与增强后的动作特征张量、增强后的第二动作张量进行乘积运算后得到第一中间动作特征与第二中间动作特征,拼接后得到融合后的特征F。

7.如权利要求1-3任一项基于双支路多尺度特征融合的新生儿肢体动作识别方法,其特征在于:分类器包括池化块和全连接层,池化块:将融合后的特征F经过最大池化和平均池化操作得到池化后的特征,池化后的特征经过拉伸展平操作后输出特征向量V;

全连接层:将特征向量V映射为对应预测类别的概率分布并输出肢体动作类别。

8.如权利要求1-3任一项基于双支路多尺度特征融合的新生儿肢体动作识别方法,其特征在于:步骤S3中,对步骤S2构建的基于双支路多尺度特征融合的新生儿肢体动作识别模型进行训练时,采用焦点损失函数优化训练:其中,lossi,c表示二元交叉熵损失,FL表示焦点损失,K表示类别总数,c∈[1,K],yi,c表示第i个样本属于第c个类别的真实值,i∈[1,n],n表示样本总数,表示第i个样本属于第c个类别的模型预测值,α表示平衡因子,用于调整正负样本的权重,β表示调节因子,用于让难分类的标签权重更大。