1.一种基于多头多层次特征稀疏transformer的新生儿疼痛情感识别方法,其特征在于,包括以下步骤:对新生儿疼痛表情图片进行预处理;
构建多头多层次特征稀疏transformer网络模型,其中,所述网络模型包括特征选择与压缩模块和多层次特征融合模块;
构建特征选择与压缩模块,具体步骤包括:对token进行选择与分类、将token进行配对和将token进行融合;
对token进行选择与分类的具体步骤包括:选择需要修剪的token,即将所有token分为保留集和舍弃集;输入向量通过一个多头注意力机制,具体公式为:(1)
其中,x表示输入向量表示输出向量,表示图像被分块的个数,表示输入特征的维度;
通过多层感知机对特征进行编码,得到局部特征,具体公式为:(2)
其中,表示保留的维度;
对被保留的token进行平均池化得到全局特征,具体公式为:(3)
其中,表示决策矩阵,用于标识将token划分到保留集或舍弃集;
将全局特征与局部特征进行结合,输入多层感知机,得到每个token的概率,具体公式为:(4)
(5)
其中,表示局部与全局特征的拼接后的向量,表示将第个token舍弃的概率,表示将第个token保留的概率;
基于Gumbel-Softmax技术对token保留的概率进行采样,具体公式为:Gumbel-Softmax (6)其中,表示独热码向量;
设定token修剪率为,将所有的token划分为两个子集保留集和舍弃集,将保留概率最高的前的token划分到保留集中,将其余的token划分到舍弃集中;
将token进行配对的具体步骤包括:计算舍弃集中的所有token与保留集中token的相似度,计算公式为:(7)
其中,表示相似度矩阵,表示舍弃集中的第个token,表示保留集中的第个token;
对于每个舍弃集中的token,选择与保留集中token的相似度最高的token,具体公式为:(8)
其中,表示舍弃集中的token与保留集中的token对应的目标token;
定义掩码矩阵表示token配对的结果,具体公式为:(9)
其中,和分别表示舍弃集与保留集中元素的数量;
基于构建的网络模型对预处理后的新生儿疼痛表情图片进行感情识别。
2.根据权利要求1所述的方法,其特征在于,对新生儿疼痛表情图片进行预处理的步骤包括:对角度偏转的新生儿疼痛表情图片进行旋转保证图片角度相同;
去除新生儿疼痛表情图片的背景区域,保留新生儿面部区域;
对新生儿疼痛表情图片进行尺度归一化、灰度归一化和均衡化。
3.根据权利要求1所述的方法,其特征在于,将token进行融合的具体步骤包括:根据掩码矩阵和相似度矩阵计算每个被融合的舍弃集标签权重和保留集标签权重,具体公式为:(10)
(11)
根据和权重矩阵对保留集标签进行更新,未被选择为目标的token保持不变,具体公式为:(12)
其中,表示更新后的保留集标签。
4.根据权利要求1所述的方法,其特征在于,构建多层次特征融合模块,具体步骤包括:对多层次的特征在空间维度上进行平均池化,具体公式为:(13)
其中,表示第个输入的特征,表示平均池化的结果,其中;
对使用11卷积来建模通道间的相关性,具体公式为:(14)
对使用sigmoid激活函数生成通道描述符,具体公式为:= (15)将在第二个维度上进行拼接,通过softmax函数获得每个输入的权重表示,具体公式为:(16)
将得到的权重与对应的输入做哈达玛乘积并且进行相加,得到融合之后的特征表示Y,具体公式为:(17)
其中,表示哈达玛乘积。
5.根据权利要求1所述的方法,其特征在于,多头多层次特征稀疏transformer网络模型包括:12层transformer模块顺序连接,在第3层,第6层和第9层的transformer模块后插入多头特征选择与压缩模块,并将第3层,第6层和第9层的输出特征与第11层的输出特征经过多层次特征融合模块进行融合后再输入到第12层transformer模块中。
6.一种存储介质,其特征在于,所述存储介质中存储有指令,当计算机读取所述指令时,使所述计算机执行如权利要求1-5中任一项所述的基于多头多层次特征稀疏transformer的新生儿疼痛情感识别方法。
7.一种电子设备,其特征在于,包括处理器和权利要求6所述的存储介质,所述处理器执行所述存储介质中的指令。