1.基于肢体动作特征的住院新生儿疼痛评估方法,其特征在于,方法包括以下步骤:
获取新生儿视频,将新生儿视频分割成视频片段序列,将每个视频片段中的每帧图像进行预处理操作,得到新生儿疼痛视频片段,对新生儿疼痛视频片段进行疼痛类别标注,构建新生儿疼痛视频样本集;
所述视频预处理的操作过程如下:
将输入的新生儿视频分割成视频片段序列,并对每个视频片段中的每帧图像进行人体检测、裁剪、对齐和归一化操作,得到长度为T帧的新生儿疼痛视频片段,其中,、分别为人体图像的高和宽,T为每个视频片段的帧数;
使用新生儿疼痛视频样本集内的样本对预先建立的新生儿疼痛分类模型进行训练,得到训练后的新生儿疼痛分类模型,其中,所述预先建立的新生儿疼痛分类模型的处理过程包括视频预处理、第一支路特征提取、第二支路特征提取、多尺度卷积注意力操作、特征融合和分类;
将新生儿疼痛视频片段输入至预先建立的第一支路特征提取模块和第二支路特征提取模块内进行特征提取;
其中,第一支路特征提取模块块由抽帧模块和深度卷积神经网络Net1构成,其中,抽帧模块对视频预处理模块输出的新生儿疼痛视频片段每隔帧抽取一帧,降低视频的帧率,表示抽帧系数;深度卷积神经网络Net1用于提取抽帧后的低帧率视频片段的新生儿肢体动作特征;将Net1提取的特征分为N个层次输出,其中,第个层次特征表示为,表示特征层次的序号,,表示第个层次特征图的高,表示第个层次特征图的宽,表示Net1输出的第个层次特征的通道数;
第二支路特征提取模块由深度卷积神经网络Net2构成,用于提取视频预处理模块输出的高帧率视频片段的新生儿肢体动作特征;将Net2提取的特征分为N个层次输出,其中,第个层次特征表示为,表示特征层次的序号,,表示第个层次特征图的高,表示第个层次特征图的宽,表示Net2输出的第个层次特征的通道数;令,表示通道缩放比;
所述Net1输出的第个层次特征和Net2输出的第个层次特征通过N个多尺度卷积注意力模块中的第个多尺度卷积注意力模块引入多尺度卷积注意力操作,输出聚焦肢体动作的多尺度特征张量;
所述第个多尺度卷积注意力模块的操作过程如下:
将Net1输出的第个层次特征和Net2输出的第个层次特征在通道维度上进行拼接,得到特征张量,运用多尺度卷积注意力机制得到特征张量的注意力权重为:其中,表示激活函数,表示卷积核为的逐点卷积,是深度可分离卷积的个数,表示第个深度可分离卷积,每个深度可分离卷积采用带状卷积核为、和的深度卷积;
将注意力权重逐通道与特征张量相乘,并经过卷积核为的逐点卷积处理,输出多尺度特征张量为:
其中,表示卷积核为的逐点卷积;
获取测试视频,将测试视频输入至训练后的新生儿疼痛分类模型内,得到新生儿疼痛分类评估结果。
2.根据权利要求1所述的基于肢体动作特征的住院新生儿疼痛评估方法,其特征在于,所述新生儿视频在临床致痛性操作及无痛状态下采集得到,所述视频片段的长度为T帧。
3.根据权利要求1所述的基于肢体动作特征的住院新生儿疼痛评估方法,其特征在于,所述特征融合的操作方法是:将第一支路特征提取模块和第二支路特征提取模块最后输出的特征执行池化操作后再展平成特征向量,并进行拼接得到融合后的新生儿肢体动作特征向量;所述分类的操作方法是:将新生儿肢体动作特征向量输入分类器进行分类识别,输出新生儿疼痛类别,包括平静,轻度疼痛,中度疼痛和重度疼痛。
4.根据权利要求1所述的基于肢体动作特征的住院新生儿疼痛评估方法,其特征在于,所述使用新生儿疼痛视频样本集内的样本对预先建立的新生儿疼痛分类模型进行训练的过程中每个训练样本的损失函数定义为:其中,K为疼痛类别数,;表示训练样本被赋予第类的真实类别标签,当采用one-hot编码时,若训练样本被赋予第类,则,否则;表示模型将训练样本预测为第类的概率;是为解决类别不平衡问题而引入的权重因子;表示调节因子。
5.基于肢体动作特征的住院新生儿疼痛评估系统,采用了权利要求1至4中任一项所述的基于肢体动作特征的住院新生儿疼痛评估方法,其特征在于,包括:新生儿疼痛视频样本集构建模块,获取新生儿视频,将新生儿视频分割成视频片段序列,将每个视频片段中的每帧图像进行预处理操作,得到新生儿疼痛视频片段,对新生儿疼痛视频片段进行类别标注,构建新生儿疼痛视频样本集;
模型训练模块,使用新生儿疼痛视频样本集内的样本对预先建立的新生儿疼痛分类模型进行训练,得到训练后的新生儿疼痛分类模型,其中,所述预先建立的新生儿疼痛分类模型的处理过程包括视频预处理、第一支路特征提取、第二支路特征提取、多尺度卷积注意力操作、特征融合和分类;
疼痛分类模块,用于获取测试视频,将测试视频输入至训练后的新生儿疼痛分类模型内,得到新生儿疼痛分类评估结果。
6.一种终端设备,包括存储器、处理器及存储在存储器中并能够在处理器上运行的计算机程序,其特征在于,所述存储器中存储有能够在处理器上运行的计算机程序,所述处理器加载并执行计算机程序时,采用了权利要求1至4中任一项所述的基于肢体动作特征的住院新生儿疼痛评估方法。