欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025105123241
申请人: 华侨大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于数据扩充与多视图定位的三维姿态估计方法,其特征在于,包括:S1,获取表征不同视角场景的图像帧并输入至多视图3D人体姿态估计模型;所述多视图3D人体姿态估计模型包括输入模块、定位模块、检测模块和融合模块;

S2,输入模块通过人体检测器识别图像帧中人体的二维边界框;

S3,定位模块通过拟合椭圆对二维边界框进行近似表示,获得二维边界框的几何特征方程,将几何特征方程映射到对偶空间,通过对偶圆锥曲线方程和对偶二次曲面方程对几何特征方程中的二维椭圆和三维人体进行建模,获得二维椭圆和三维人体之间的线性关系,求解该线性关系,获得同一人体在不同图像帧上位置的关联信息;

S4,检测模块通过蒸馏后的二维人体姿态估计算法分析关联信息,获取二维人体姿态;

S5,融合模块对二维人体姿态进行预处理和编码操作,获得对应的关键点令牌,对不同视图下的关键点令牌进行整合,预测人体在世界坐标系中的三维姿态;

二维椭圆和三维人体之间的线性关系具体为:

其中,βif表示整体比例因子;表示对偶圆锥曲线;表示对偶二次曲面矩阵;Pf表示Qi和Cif之间的关系由投影矩阵;

将二维椭圆和三维人体之间的线性关系转化为线性系统,具体为:

其中,矩阵为克罗内克积,矩阵D∈R6×9,矩阵E∈R16×10;为矩阵的向量化形式,为矩阵的向量化形式,vech()为按对称矩阵下三角元素序列化函数;

求解二维椭圆和三维人体之间的线性关系,获得同一人体在不同图像帧上位置的关联信息,计算公式如下:Miωi=06F;

其中,矩阵Mi∈R6F×(10+F)表示多视图几何关系与物体检测的2D信息,包括矩阵Gf和矩阵ωi表示3D空间中物体对应的二次曲面的相关参数;06F表示长度为6F的列向量,其中所有元素均为0;F表示图像帧的总数;

基于矩阵Mi获得同一人体在不同图像帧上位置的关联信息。

2.根据权利要求1所述的基于数据扩充与多视图定位的三维姿态估计方法,其特征在于,所述S1之前,还包括:通过基于网格的人体姿态数据集生成器对二维人体姿态进行数据扩充,获得扩充后的二维人体姿态,基于扩充后的二维人体姿态对多视图3D人体姿态估计模型进行训练;

所述基于网格的人体姿态数据集生成器以三维网格顶点和相机校准矩阵作为输入,通过所述相机校准矩阵在每个视图的相机空间中渲染三维网格,生成对应的二维图像,基于二维图像获取带有噪声的二维姿态;将带有噪声的二维姿态与基于网格的人体姿态数据集生成器输出的三维姿态的真实值进行关联,构建出扩充后的二维人体姿态对。

3.根据权利要求1所述的基于数据扩充与多视图定位的三维姿态估计方法,其特征在于,S4中,所述检测模块还包括设置有自蒸馏损失函数的多循环Transformer模块,通过多循环Transformer模块对多视图3D人体姿态估计模型进行自蒸馏;

其中,自蒸馏损失函数包括关键点标记蒸馏损失和视觉标记蒸馏损失;

所述关键点标记蒸馏损失用于衡量不同循环间关键点标记的差异,计算公式如下:其中,Lkt表示关键点标记蒸馏损失;MSE()表示均方误差;KTi表示关键点标记第i次循环输出;

所述视觉标记蒸馏损失用于评估视觉标记在循环间的变化,计算公式如下:其中,Lvt表示视觉标记蒸馏损失;VTi表示视觉标记;N表示循环次数。