欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019107489365
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于双流卷积神经网络的新生儿疼痛表情识别方法,其特征在于,包括以下步骤:(1)获取新生儿疼痛表情数据库,并按照10:1的比例将其分为训练集和测试集;

(2)分帧处理数据库中的视频得到帧图片,从中选取各视频帧中表情变化最大的一帧,并在多个连续的帧之间添加光流位移场得到对应的光流图;

(3)构建一个共用Attention双流卷积神经网络模型,该模型包含两个预训练的VGG16网络和共用Attention模块;

(4)将训练集中选取的帧图片与光流图分别作为两路网络的输入,优化网络模型参数,得到训练好的网络模型;

(5)测试集的视频帧和光流图送至优化后的共用Attention双流卷积神经网络进行情感识别,得到情感识别结果。

2.根据权利要求1所述的一种基于共用Attention双流卷积神经网络的新生儿疼痛表情识别方法,其特征在于,步骤(2)中视频分帧与光流图生成的过程包括:(2.1)从视频中截取帧,输入视频,输出视频中的每一帧图片;

(2.2)生成光流图,输入视频的连续多帧图片,输出各相邻帧间的光流图。

3.根据权利要求1所述的一种基于共用Attention双流卷积神经网络的新生儿疼痛表情识别方法,其特征在于,步骤(3)中共用Attention双流卷积神经网络模型包括的VGG16网络由13个卷积层、3个全连接层以及5个池化层组成,其中13个卷积层和5个池化层被分为五个卷积层组,每个卷积层组所包含卷积层的个数分别为2、2、3、3、3,分别用CONV1、CONV2、CONV3、CONV4和CONV5来表示这五个卷积层组。卷积层的计算公式表示为:其中,A是深度,B是滤波器的大小,wd,m,n表示滤波器的第d层第m行第n列权重,xd,i,j表示图像的第d层第i行第j列像素,wb表示滤波器的偏置项,ai,j表示特征图的第i行第j列元素,f表示激活函数。进行卷积操作后的特征图C*=(C-D+2P)/S+1    (公式2)

其中C为卷积操作前的矩阵宽和高,D为卷积核的宽和高,P为需要填充的0的个数,S为步长。

池化层具有两种操作方式,一种是最大值池化,另一种是均值池化。最常用的是最大值池化,且进行池化的滤波器大小E一般为2×2。若输入的数据尺寸为M×M×F,则输出的数据尺寸变为N×N×F,其中N=(M-E)/S+1,F为特征图通道数,且一般S取0。

4.根据权利要求1所述的一种基于共用Attention双流卷积神经网络的新生儿疼痛表情识别方法,其特征在于,步骤(3)中构建一个共用Attention双流卷积神经网络模型包括的共用Attention模块包含四个Attention矩阵和三个核为2×2的池化层,构建方式如下:(3.1)将两路CONV1输出的特征图进行级联,级联后的特征图大小为112×112×128,

112×112是每张特征图的大小,128是其通道数,级联后的特征图首先通过一个全连接层得到注意力权重,注意力权重可以通过如下公式计算:gi,j=tanh(W1THi,j+b1)     (公式3)

其中W1为权重,b1为偏置,Hi,j∈Rl×d为特征图上位置(i,j)∈1~112的深度特征向量。最后通过Softmax对注意力权重进行归一化得到112×112的注意力权重矩阵Attention1。

(3.2)Attention1分别跟CONV2_1和CONV2_2输出的每一张特征图进行对位点乘,得到带注意力权重的特征图。

(3.3)Attention1进行池化操作得到56×56的注意力权重矩阵Attention2,将该注意力权重矩阵分别跟CONV3_1、CONV3_2和CONV3_3输出的每一张特征图进行对位点乘,得到带注意力权重的特征图。

(3.4)Attention2进行池化操作得到28×28的注意力权重矩阵Attention3,将该注意力权重矩阵分别跟CONV4_1、CONV4_2和CONV4_3输出的每一张特征图进行对位点乘,得到带注意力权重的特征图。

(3.5)Attention3进行池化操作得到14×14的注意力权重矩阵Attention4,将该注意力权重矩阵分别跟CONV5_1、CONV5_2和CONV5_3输出的每一张特征图进行对位点乘,得到带注意力权重的特征图。

5.根据权利要求1所述的一种基于共用Attention双流卷积神经网络的新生儿疼痛表情识别方法,其特征在于,步骤(4)中优化网络模型参数如下:Input为224×224×3,各卷积层的卷积核都为3×3,5个卷积层组的通道数依次为64、128、256、512、512,最终输出为7×7×512。