1.一种人体姿态估计方法,其特征在于,包括:
(1)使用由Swin Transformer和区域提议网络RPN组成的分割模型,对需要进行人体姿态估计的原始图像M1进行分割提取,得到仅包含人的图像A1、A2、…、An;
(2)对图像A1、A2、…、An分别进行截取处理,得到具有随机位置且拥有固定大小的非重叠补丁块和非固定尺寸且能覆盖整张图像的补丁块,并均使用具有类标签l的SwinTransformer做特征提取,得到对应特征图;
(3)对具有随机位置且拥有固定大小的非重叠补丁特征图,使用通道注意力处理得到特征向量FCA;对非固定尺寸且能覆盖整张图像的补丁特征图使用空间注意力进行处理得到特征向量FSA;对两种注意力得到的特征向量进行混合,得到基于补丁的混合注意力特征向量FPbA;
(4)融合特征向量,使用线性连接层与非线性连接层混合处理后,使用高斯丢弃和批归一化来进行正则化并分类,得到姿态估计的结果。
2.根据权利要求1所述的人体姿态估计方法,其特征在于,步骤(1)包括:使用Swin Transformer对原始图像M1进行特征提取,得到特征提取图;
使用区域提议网络RPN获得特征提取图中以人体作为实例的区域边界框坐标,利用边界框坐标获得分割掩膜,并将分割图像大小调整一致。
3.根据权利要求2所述的人体姿态估计方法,其特征在于,Swin Transformer使用的公式如下:2
其中, 为查询矩阵, 为键矩阵,, 为值矩阵,M 是窗口补丁数,d是查询矩阵和键矩阵的维度,B取自一个较小尺寸的偏置矩阵SoftMax(.)为归一化函数。
4.根据权利要求3所述的人体姿态估计方法,其特征在于,步骤(2)包括:将图像A1、A2、…、An划分为一个具有随机位置且拥有固定大小的非重叠补丁块集合D,使用具有类标签l的Swin Transformer做特征提取,得到对应特征图F,其中 h、2
w、c分别表示特征图的高度、宽度和通道;D={d1,d2,...,de|Il},e=(h×w)/a ,a×a为矩形补丁d的空间大小,di的空间维度定义为pi=[xi,yi,Δw,Δh],Δw=Δh=a,[xi,yi]为补丁块在图片上的像素坐标,左下角第一个像素点记为坐标原点,使用随机函数获取补丁块的[xi,yi]坐标;
将图像A1、A2、…、An再次进行非固定尺寸且能覆盖整张图像的补丁块划分,此次划分补丁尺度随机变换,但是所有划分补丁均不重叠,以填充的方式覆盖整张图片,再次使用具有类标签l的Swin Transformer做特征提取,得到对应特征图Fi,其中每个补丁表示为di=[Fi,pi],Fi为补丁pi的特征图,pi=[xi,yi,Δwi,Δhi]为关于pi块的空间维度,Δwi,Δhi为每个补丁块的宽度和高度;
将对图像A1、A2、…、An进行处理得到的n个不重叠的相同尺度补丁和非固定尺寸且能覆盖整张图像的补丁块的集合P对应的特征图F进行上采样操作,得到更高分辨率的特征图k,使用双线性差值法汇集每个补丁的特征,其中, pi为单个补丁块,Fi为pi的特征图,k的尺寸为h×w,上采样可视为映射操作 h、w、c分别表示特征图的高度、宽度和通道。
5.根据权利要求4所述的人体姿态估计方法,其特征在于,双线性差值公式如下:其中,Q11=(x1,y1),Q12=(x1,y2),Q21=(x2,y1),Q22=(x2,y2);(x1,y1)、(x1,y2)、(x2,y1)、(x2,y2)为点的位置坐标。
6.根据权利要求4所述的人体姿态估计方法,其特征在于,步骤(3)包括:从步骤(2)输出的具有随机位置且拥有固定大小的非重叠补丁特征图F中学习查询Q、关键字K和值V,关注权重矩阵是Q和K的点积,乘以V来产生注意特征描述符,通道注意力公式如下:其中,F是步骤(2)得到的特征图,Mc是权重系数,σ(.)是激活函数,MLP(.)为多层感知机,AvgPool(.)为平均池化层,MaxPool(.)为最大池化层,W1,W0均为矩阵权重; 为C个神经元的平均特征图, 为C个神经元的最大特征图;
利用所有补丁的注意力分数的加权和来计算每个圆周率的重要性,公式如下:其中,δi,j为圆周率,softmax(.)为归一化函数,bδ为偏置向量,为聚集的特征空间,Fj为补丁特征图;
通过全局平均池汇总 生成P中所有块的 最终通过Softmax来产生加权注意力矩阵φi,公式如下:
其中,为所有补丁块平均特征图, 为全局平均池化函数,FCA为加权后的通道注意力特征向量, Wφ为权重,bφ为偏置。
7.根据权利要求6所述的人体姿态估计方法,其特征在于,步骤(3)还包括:对步骤(2)输出的非固定尺寸且能覆盖整张图像的补丁特征图进行全局最大池化处理,生成优化的特征向量Fgmp,并与非固定尺寸且能覆盖整张图像的补丁特征图进行全局平均池化处理生成的特征向量Fgap进行融合,得到融合后的特征映射H,公式如下:其中, concat(.)为融合函数, 为全局平均池化函数, 为全局最大池化函数,
应用多层感知器生成空间注意力特征向量FSA,具体公式如下:其中, 为多层感知机,σ(.)是元素式的非线性激活,采用了GELU非线性激活函数,X为特征映射H经过Flatten得到的向量,XW表示对X进行线性变换,λGD+BN为具有高斯丢弃和批归一化的正则化过程;
将空间注意力特征向量FSA中的逐个元素与加权后的通道注意力特征向量FCA相乘,并通过捕捉细微细节和关注全局结构信息类增强可区分性,将残差路径和FCA相连接得到基于补丁的混合注意力特征向量FPbA,具体公式如下:
8.根据权利要求7所述的人体姿态估计方法,其特征在于,步骤(4)包括:对步骤(2)的上采样的特征图F进行间隙层 压缩产生(1×c)个通道的矢量,该矢量与注意特征图FPbA相加,最终的特征向量Ff分别经过线性连接层和非线性连接层的处理将结果相加后进行正则化并传递到Softmax来计算隐含类别概率的输出向量,所得出的类别即为人姿态估计结果,具体公式如下:Ypred=softmax(λ(Ff))
其中,λ(.)为高斯丢失和批量归一化正则器处理,高斯丢失使用乘性噪声,且丢失率φ映射到噪声标准差 ρ为噪声程度。
9.一种人体姿态估计系统,其特征在于,包括:
人体姿态估计单元,包括存储器和处理器,其中存储器中存储有计算机程序,当计算机程序被处理器执行时,实现权利要求1至8中任一项所述的人体姿态估计方法。
10.根据权利要求9所述的人体姿态估计系统,其特征在于,还包括:图像采集单元,用于采集需要进行人体姿态估计的原始图像M1。