1.一种基于自蒸馏的二维人体姿态估计方法,其特征在于,包括如下步骤:S101,获取包括二维人体图像的数据集;
S102,构建基于HRNet的人体姿态检测高分辨率网络;
S103,使用人体姿态检测高分辨率网络对数据集中的二维人体图像进行处理,获得预测热图,完成人体姿态估计;
所述人体姿态检测高分辨率网络包括:
预处理层,对输入的数据集中的图像进行预处理,将预处理后的图像输入多维尺度融合部分;
多维尺度融合部分,包括阶段一、阶段二、阶段三和阶段四;其中,阶段一包含1条并联输入分支和1个多分辨率模块;阶段二包含2条并联输入分支和1个多分辨率模块;阶段三包含3条并联输入分支和4个多分辨率模块;阶段四包含4条并联输入分支和3个多分辨率模块;
其中,每个多分辨率模块由4个残差块和进行多维尺度融合的卷积层组成;阶段一的多分辨率模块的残差块为三层残差结构;阶段二的多分辨率模块的残差块为二层残差结构;阶段三的多分辨率模块的残差块为二层残差结构;阶段四的多分辨率模块的残差块为二层残差结构;对于阶段二和阶段三,每个阶段的最后一个多分辨率模块对所有分支的图像特征进行跨步卷积融合,并将融合后的结果进行卷积生成新的分支作为下一阶段的输入分支;新增分支的分辨率大小是上一分支分辨率大小的一半,通道数则是上一分支的两倍;
多维尺度融合部分的每个阶段输出特征表示到自蒸馏模块,并且从阶段四输出特征融合后的图像到卷积层;
多分辨率模块中残差块的输出特征表示为:
其中,i表示阶段,j表示分支,r表示残差块的序号,M表示输入通道数,N表示输出通道数;
阶段一中第一个残差块的输出
其中,conv表示卷积操作,σ表示RELU激活函数;因此,阶段一中多分辨率模块的输出由于阶段一只有一条分支,没有进行多尺度融合,因此阶段一生成新分支其中,∪表示分隔符,
阶段二最后一个多分辨率模块进行多尺度融合与生成新分支的卷积过程其中,卷积操作采用大小为3×3的卷积核进行,upsampling为使用卷积核大小为1×1的nearest最邻近插值法进行上采样;
阶段三堆叠一次后,最后一个多分辨率模块进行多尺度融合与生成新分支的卷积过程其中,阶段三共将此过程重复堆叠四次;重复堆叠四次后阶段三第三个分支的输出再通过一个conv结构得到下采样32倍的新分支作为阶段四的第四条并联输入;
阶段四堆叠一次后,最后一个多分辨率模块进行多尺度融合的卷积过程其中,阶段四将此过程重复堆叠两次后作为阶段四的输出;
多维尺度融合部分每个阶段的特征表示如下:
其中,
多维尺度融合部分中的多分辨率模块均包含高维特征,最后一层的高维特征表示为自蒸馏模块,使用多维尺度融合部分四个阶段的特征表示构建自蒸馏损失;
卷积层,将来自多维尺度融合部分的图像的通道数变为数据集中的关键点数,输出关键点集合到DSNT层;
DSNT层,对关键点集合中的关键点坐标进行回归生成预测热图。
2.如权利要求1所述的基于自蒸馏的二维人体姿态估计方法,其特征在于,所述人体姿态检测高分辨率网络的预处理层由两个卷积层和一个非线性激活层RELU组成,输入的二维人体图像经过预处理层后通道数由原来的未知通道数C变成64,经过预处理后的图像直接输入到多维尺度融合部分中;预处理部分的卷积操作f(x)表示为:f(x)=σ(f(W
其中,x表示输入的二维人体图像,W
3.如权利要求1所述的基于自蒸馏的二维人体姿态估计方法,其特征在于,所述S102中的自蒸馏模块的实现具体如下:计算
其中,||·||
第二阶段、第三阶段、第四阶段的自蒸馏计算公式如下:自蒸馏模块总体损失Loss
4.如权利要求1所述的基于自蒸馏的二维人体姿态估计方法,其特征在于,所述S102中的卷积层与DSNT层的实现具体如下:
1×1的卷积层将图像的通道数变为数据集中的关键点数K,再通过DSNT模块,对关键点坐标进行回归生成热图;
DSNT模块进行关键点回归的过程如下:
构建矩阵X和Y,矩阵的构建公式如下:
其中,a=1,...,m,b=1,...,n;a表示矩阵行数;b表示矩阵列数;XDSNT模块生成热图的公式如下:
其中,
基于自蒸馏的二维姿态估计方法的总体损失Loss,其计算公式如下:其中,
5.一种基于自蒸馏的二维人体姿态估计装置,包括如下:图像获取模块,用于获取包括二维人体图像的数据集;
人体姿态检测高分辨率网络模块,用于构建基于HRNet的人体姿态检测高分辨率网络;其中人体姿态检测高分辨率网络包括预处理层、多维尺度融合部分、自蒸馏模块、卷积层和DSNT层;
预测热图获取模块,用于使用人体姿态检测高分辨率网络对数据集中的二维人体图像进行处理,获得预测热图,完成人体姿态估计;
所述人体姿态检测高分辨率网络包括:
预处理层,对输入的数据集中的图像进行预处理,将预处理后的图像输入多维尺度融合部分;
多维尺度融合部分,包括阶段一、阶段二、阶段三和阶段四;其中,阶段一包含1条并联输入分支和1个多分辨率模块;阶段二包含2条并联输入分支和1个多分辨率模块;阶段三包含3条并联输入分支和4个多分辨率模块;阶段四包含4条并联输入分支和3个多分辨率模块;
其中,每个多分辨率模块由4个残差块和进行多维尺度融合的卷积层组成;阶段一的多分辨率模块的残差块为三层残差结构;阶段二的多分辨率模块的残差块为二层残差结构;阶段三的多分辨率模块的残差块为二层残差结构;阶段四的多分辨率模块的残差块为二层残差结构;对于阶段二和阶段三,每个阶段的最后一个多分辨率模块对所有分支的图像特征进行跨步卷积融合,并将融合后的结果进行卷积生成新的分支作为下一阶段的输入分支;新增分支的分辨率大小是上一分支分辨率大小的一半,通道数则是上一分支的两倍;
多维尺度融合部分的每个阶段输出特征表示到自蒸馏模块,并且从阶段四输出特征融合后的图像到卷积层;
多分辨率模块中残差块的输出特征表示为:
其中,i表示阶段,j表示分支,r表示残差块的序号,M表示输入通道数,N表示输出通道数;
阶段一中第一个残差块的输出
其中,conv表示卷积操作,σ表示RELU激活函数;因此,阶段一中多分辨率模块的输出由于阶段一只有一条分支,没有进行多尺度融合,因此阶段一生成新分支其中,∪表示分隔符,
阶段二最后一个多分辨率模块进行多尺度融合与生成新分支的卷积过程其中,卷积操作采用大小为3×3的卷积核进行,upsampling为使用卷积核大小为1×1的nearest最邻近插值法进行上采样;
阶段三堆叠一次后,最后一个多分辨率模块进行多尺度融合与生成新分支的卷积过程其中,阶段三共将此过程重复堆叠四次;重复堆叠四次后阶段三第三个分支的输出再通过一个conv结构得到下采样32倍的新分支作为阶段四的第四条并联输入;
阶段四堆叠一次后,最后一个多分辨率模块进行多尺度融合的卷积过程其中,阶段四将此过程重复堆叠两次后作为阶段四的输出;
多维尺度融合部分每个阶段的特征表示如下:
其中,
多维尺度融合部分中的多分辨率模块均包含高维特征,最后一层的高维特征表示为自蒸馏模块,使用多维尺度融合部分四个阶段的特征表示构建自蒸馏损失;
卷积层,将来自多维尺度融合部分的图像的通道数变为数据集中的关键点数,输出关键点集合到DSNT层;
DSNT层,对关键点集合中的关键点坐标进行回归生成预测热图。