1.一种基于关键点相关性的人体姿态估计方法,其特征在于,包括:实时获取图像数据,对获取的图像数据进行预处理;将预处理好的图像数据输入到训练好的基于关键点相关性的人体姿态估计模型中,得到人体姿态估计结果;
对基于关键点相关性的人体姿态估计模型进行训练的过程包括:S1:获取原始图像数据,对原始图像数据进行预处理,得到训练数据集;
S2:采用HRNet网络对训练数据集中的图像数据进行特征提取,得到特征热力图;其中,图像数据包括带有标注的人体关键点;
S3:计算两个关键点之间的相关性,根据相关性对关键点进行分组,得到关键点组;
S4:根据特征热力图和关键点组,采用构建好的RNMI模型对特征热力图进行关系信息融合,得到增强特征的特征热力图;
S5:根据增强特征的特征热力图计算热力图损失,根据增强特征的特征热力图计算特征相似度损失,根据热力图损失计算自推理强相关性点混淆惩罚损失;
S6:根据热力图损失、特征相似度损失和自推理强相关性点混淆惩罚损失计算基于关键点相关性的人体姿态估计模型的整体损失,当整体损失最小时,训练完成。
2.根据权利要求1所述的一种基于关键点相关性的人体姿态估计方法,其特征在于,对获取的图像数据进行预处理包括:通过目标检测算法检测出单人人体图像,将检测到的人体图像裁剪为256×256的单人图像;将单人图像进行旋转、缩放和翻转操作,得到增强的图像数据。
3.根据权利要求1所述的一种基于关键点相关性的人体姿态估计方法,其特征在于,计算两个关键点之间的相关性,根据相关性对关键点进行分组包括:计算两个关键点之间的互信息;设置互信息阈值;将计算出的互信息与设置的互信息阈值进行对比,若大于设置的互信息阈值,则将两个关键点互相作为对方的强相关性关键点,否则不为强相关性关键点;
将所有互为强相关性关键点的关键点分为一组。
4.根据权利要求1所述的一种基于关键点相关性的人体姿态估计方法,其特征在于,采用RNMI模型对特征热力图进行关系信息融合包括:根据特征热力图计算关键点的图像信息权重和空间信息权重;
根据图像信息权重和空间信息权重计算关键点的关系权重;
根据关系权重计算关键点的关系信息加权和;
根据特征热力图和关系信息加权和计算增强特征的特征热力图。
5.根据权利要求4所述的一种基于关键点相关性的人体姿态估计方法,其特征在于,计算关键点的关系权重的公式为:
其中, 表示关键点m对关键点n的空间信息权重, 表示关键点m对关键点n的图像信息权重, 表示关键点组内k个关键点对关键点n的空间信息权重, 表示关键点组内k个关键点对关键点n的图像信息权重,k表示关键点组中关键点的数量。
6.根据权利要求4所述的一种基于关键点相关性的人体姿态估计方法,其特征在于,计算关键点的关系信息加权和的公式为:mn
其中,ω 表示关键点的关系权重, 为第m个关键点的图像特征,WV为一次线性变换操n
作,δ表示第n个关键点的关键点组。
7.根据权利要求1所述的一种基于关键点相关性的人体姿态估计方法,其特征在于,增强特征的特征热力图表示为:
其中, 表示增强特征的第n个关键点的图像特征, 表示第n个关键点的图像特征,n
表示关键点t对关键点n的关系特征,δ表示第n个关键点的关键点组,T表示第n个关键点的关键点组中关键点的总数,fR(n)表示T个关键点对第n个关键点的关系信息加权和。
8.根据权利要求1所述的一种基于关键点相关性的人体姿态估计方法,其特征在于,特征相似度损失公式为:
其中,m和n分别表示当前第m个关键点和第n关键点, 表示预测的关键点m与关键点n的特征相似度, 表示真实标签下关键点m与关键点n的特征相似度,N表示关键点的数量。
9.根据权利要求1所述的一种基于关键点相关性的人体姿态估计方法,其特征在于,自推理强相关性点混淆惩罚损失公式为:其中,Lp表示总自推理强相关性点混淆惩罚损失, 表示, 和 分别表示第n个关键点和第m个关键点的热力图损失,Lk(Prdn,Gtm)表示第n个关键点的预测热力图与第m个关键点的真实标签热力图的热力图损失,Lk(Prdm,Gtn)表示第m个关键点的预测热力图与第n个n
关键点的真实标签热力图的热力图损失,δ表示第n个关键点的关键点组。
10.根据权利要求1所述的一种基于关键点相关性的人体姿态估计方法,其特征在于,整体损失公式为
Lrnmi=Lk+αLs+βLp其中,Lrnmi表示模型的整体损失,Lk表示热力图损失,Ls表示特征相似度损失,Lp表示自推理强相关性点混淆惩罚损失,α表示特征相似度损失的权重,β表示推理强相关性点混淆惩罚损失的权重,Kprd‑n表示网络输出的关键点n的热图,Kgt‑n表示真实标签下的关键点n的热图,N表示关键点总数。