欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025110066874
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于毫米波雷达的多目标手部姿态估计方法,其特征在于:所述多目标手部姿态估计方法具体包括以下步骤:步骤1、创建手部区域:检测毫米波雷达感知区域中的所有物体,通过唤醒检测模型检测预定义的唤醒手势来识别目标用户,评估唤醒手势出现的概率,识别手部区域,其中,所述唤醒检测模型为基于支持向量数据构建的二分类检测器;

步骤2、在步骤1创建的手部区域,构建距离-方位-俯仰三维特征立方体,所述三维特征立方体表示手部姿势特征;

步骤3、通过m2HandNet模型对步骤2的手部姿势特征进行估计,所述m2HandNet模型包括距离鲁棒的特征提取器、时空转换器、遮挡消除模块、用户自适应模块。

2.根据权利要求1所述的基于毫米波雷达的多目标手部姿态估计方法,其特征在于:所述m2HandNet模型包括:所述距离鲁棒的特征提取器包括多尺度特征提取模块和特征融合模块,用于提取手部在毫米波雷达感知区域的距离鲁棒的手部姿势特征,所述多尺度特征提取模块包括多个反卷积层,用于提取手部在不同毫米波雷达感知区域的特征,所述特征融合模块包括一个跨注意力层,用于融合不同毫米波雷达感知区域的特征并生成手部在毫米波雷达感知区域的鲁棒特征;

所述时空转换器包括空间转换器、时间转换器和3D姿态估计层;

所述遮挡消除模块包括双手间遮挡消除模块和手内部遮挡消除模块;

所述用户自适应模块用于将m2HandNet模型适配到新的用户,包括手部姿态建模和手部姿态解耦。

3.根据权利要求1所述的基于毫米波雷达的多目标手部姿态估计方法,其特征在于:所述步骤1手部区域的创建具体包括如下步骤:步骤1.1、检测毫米波雷达感知区域中的所有物体:对每个天线接收到的毫米波雷达信号进行距离快速傅里叶变换,得到距离-时间频谱,对得到的距离-时间频谱进行多普勒快速傅里叶变换得到距离-多普勒频谱,搜索得到的距离-多普勒频谱中的亮点即候选物体,距离-多普勒频谱中一个方格的值超过了一个阈值,则认为该方格有一个候选物体;对于每个候选物体,结合每个天线接收的候选物体的信号进行角度快速傅里叶变换,生成距离-方位频谱和距离-仰角频谱,估计候选物体的方位角和俯仰角,得到每个候选物体的极坐标(,,)及转换后的三维坐标(,,);

步骤1.2、检测预定义的唤醒手势识别目标用户:从毫米波雷达中提取每个物体在毫米波雷达感知区域内的反射信号,对反射信号应用短时傅里叶变换得到唤醒手势的微多普勒频谱,所述微多普勒频谱反应唤醒手势的时域特征和频域特征,通过分析时域特征和频域特征的差异检测唤醒手势,得到用户定位信息;

步骤1.3、评估唤醒手势出现的概率,识别手部区域:结合用户定位信息与步骤1.2得到的时域特征和频域特征,评估唤醒手势的存在概率,识别手部区域。

4.根据权利要求3所述的基于毫米波雷达的多目标手部姿态估计方法,其特征在于:所述步骤1.3具体包括如下步骤:步骤1.3.1、定义一个指标函数来衡量微多普勒频谱中是否存在唤醒手势,指标函数定义为:,

其中,为微多普勒频谱在唤醒检测模型的特征空间中的投影点,为唤醒检测模型的特征空间中超球体的中心点, 若≥0,表示当前的微多普勒频谱包含唤醒手势;

步骤1.3.2、在由距离、方位角、俯仰角的三维空间中,提取微多普勒频谱,计算微多普勒频谱的值;

对于满足≥0的距离判定为该用户的手部距离范围;

提取手部距离范围内方位角的距离-方位RA频谱和俯仰角的距离-仰角RE频谱;

在距离-方位频谱绘制的平面与距离-仰角频谱绘制的平面中,分别找出满足≥0的方位角和俯仰角作为手部区域,完成手部区域的构建。

5.根据权利要求4所述的基于毫米波雷达的多目标手部姿态估计方法,其特征在于:步骤2构建距离-方位-俯仰三维特征立方体作为手部特征,具体包括以下步骤:步骤2.1、在距离-方位频谱绘制的平面与距离-仰角频谱绘制的平面中完成目标手部区域定位后,采用Capon波束形成算法,将方位角分辨率从15︒提高至1︒,得到增强后的距离-方位频谱图,将俯仰角分辨率从30︒提高至1︒,得到增强后的距离-仰角频谱图;

步骤2.2、将增强后的距离-方位频谱图与增强后的距离-仰角频谱图进行融合,构建距离-方位-俯仰三维特征立方体作为手部姿势特征,其中、、分别表示距离、方位角、俯仰角上的采样数。

6.根据权利要求5所述的基于毫米波雷达的多目标手部姿态估计方法,其特征在于:所述步骤3中,所述距离鲁棒特征提取器提取特征具体包括如下步骤:步骤3.1.1、距离鲁棒的特征提取器对手部姿势特征进行缩放;

步骤3.1.2、在不同层级的距离-方位-俯仰三维特征立方体中,通过所述跨注意力层对各个距离、方位角、俯仰角赋予权重,利用距离鲁棒的特征提取器提取距离鲁棒的手部姿势特征。

7.根据权利要求6所述的基于毫米波雷达的多目标手部姿态估计方法,其特征在于:步骤3中,时空转换器将手部姿势特征的方位-俯仰平面展开为的特征向量,具体包括如下步骤:步骤3.2.1、空间转换器对步骤3.1.2中提取到的距离鲁棒的手部姿态特征进行空间特征提取;

步骤3.2.2、时间转换器处理多帧步骤3.2.1提取的空间特征,学习手部关节在帧间的时间依赖关系,利用自注意力机制选择性关注关键帧,结合位置嵌入以保留帧顺序,提取全局时空特征;

步骤3.2.3、在得到时间转换器输出的全局时空特征后,3D姿态估计层采用多层感知结构,预测每一帧的预测手部姿态;

步骤3.2.4、通过加权关节损失函数引导m2HandNet模型优化,以缩小预测手部姿态和真实的手部姿态之间的误差,加权关节损失函数表示如下:,

其中,为雷达帧数量,,为手部关节点总数量,为所有帧的预测手部姿态,为所有帧的真实手部姿态,为第帧中第个手部关节点预测坐标,为第帧中第个手部关节点真实坐标,为第帧中第个手部关节点对应的权重,定义为:。

8.根据权利要求1所述的基于毫米波雷达的多目标手部姿态估计方法,其特征在于:在步骤3中,遮挡消除模块包括双手间遮挡消除模块和手内部遮挡消除模块,对手部姿势特征进行双手间遮挡消除和手内部遮挡消除,所述双手间遮挡消除模块包括右手姿势特征分解和左手姿势特征分解,手内部遮挡消除模块包括姿态形变估计、双向姿态校正,具体包括如下步骤:步骤3.3.1、右手姿势特征分解:对于被遮挡的右手姿势特征,应用知识自蒸馏技术,利用手部运动成分蒸馏器和干扰成分蒸馏器将被遮挡的右手姿势特征分解为右手手部运动成分分量和右手干扰成分分量;

步骤3.3.2、为保证右手手部运动成分分量和右手干扰成分分量互不耦合,采用互信息最小化损失函数进行约束,互信息最小化损失函数为:,

其中,表示第帧下的被遮挡的右手姿势特征,表示第帧下的被遮挡的右手手部运动成分分量,表示第帧下的被遮挡的右手干扰成分分量,函数表示与之间的互信息,互信息通过变分自蒸馏方法计算得到;

步骤3.3.3、第帧下的被遮挡的右手手部运动成分分量由第帧下的被遮挡的右手干扰成分分量进行监督学习,获得无双手间遮挡的右手姿态,,表示第帧无双手遮挡的右手姿态;

步骤3.3.4、左手姿势特征分解:将右手手部运动成分分量作为干扰先验,通过抗干扰注意力机制将将干扰先验与被遮挡的左手姿势特征之间的差异编码为权重矩阵,该权重矩阵与被遮挡的左手姿势特征相乘,得到无双手间遮挡的左手姿态,,表示第帧无双手遮挡的左手姿态;

步骤3.3.5、姿态形变估计:第帧和第帧之间手部关节坐标的变化被定义为第帧估计的手部姿态形变,用加权的变形损失函数对所有帧的预测的手部姿态形变进行监督,用加权的变形损失函数定义为:,

其中,为预测的手部姿态形变,为真实的手部姿态形变,为手部关节点总数量,表示预测的第帧第个手部关节点的形变,真实的第帧第个手部关节点的形变;

步骤3.3.6、双向姿态校正:通过整合第帧之前的所有帧和第帧之后的所有帧的姿态形变估计的结果,对第帧的无双手遮挡的手部姿态进行修正,得到第帧的精修手部姿态。

9.根据权利要求7所述的基于毫米波雷达的多目标手部姿态估计方法,其特征在于:步骤3.3.6中,对第帧的无双手遮挡的手部姿态进行修正的方法为:对于非第帧的第帧的无双手遮挡的手部姿态,累加第帧之前的所有帧的姿态形变估计结果或第帧之后的所有帧的姿态形变估计结果,以回溯到第帧,得到第帧变形后对第帧的姿态估计,;

,

通过将全部帧的姿态形变估计回溯至第帧生成帧前向姿态变形估计和个后向姿态形变估计;

利用计算得到的帧前向姿态变形估计和个后向姿态形变估计修正来提升当前第帧的估计精度,并获得第帧的精修手部姿态:,

其中,为第帧的加权系数,为第帧的加权系数,为第帧的无双手遮挡的手部姿态;

引入形变一致性损失函数,对获得的所有帧的精修手部姿态进行监督,使所有帧的精修手部姿态与所有帧的真实手部姿态一致,所述形变一致性损失函数定义如下:,

其中,表示所有帧的精修手部姿态,表示所有帧的真实手部姿态,表示由第帧变形后得到的第帧精修手部姿态的第个关节点的预测坐标,表示第帧精修手部姿态的第个关节点的真实坐标。

10.根据权利要求9所述的基于毫米波雷达的多目标手部姿态估计方法,其特征在于:在步骤3中,用户自适应模块中的手部姿态建模将所有帧的精修左手姿态和所有帧的精修右手姿态建模为手部形状和关节运动,手部姿态解耦基于手部姿态建模,对所有帧的精修左手姿态和所有帧的精修右手姿态进行分别解耦,得到手部形状信息与关节运动信息,具体为:步骤3.4.1、手部姿态建模:将所有帧的精修左手姿态和所有帧的精修右手姿态分解为手部形状特征和关节运动特征,手部形状特征包括个体手部特征和比例,用每根手部骨骼的长度来表示,关节运动特征是任意时刻关节的方向和角度,定义为每个关节的6D旋转;

步骤3.4.2、手部姿态解耦:对所有帧的精修左手姿态和所有帧的精修右手姿态进行解耦,引导m2HandNet模型学习与用户无关的手部的关节运动特征,通过关节运动解耦器和手型解耦器将所有帧的精修左手姿态和所有帧的精修右手姿态分别解耦为手部形状特征与关节运动特征;

其中,手型解耦器负责估计每根手部骨骼的长度,手型解耦器对应的手型损失函数定义为:,

其中,表示第根手部骨骼的预测长度,表示第根手部骨骼的真实长度,表示手部骨骼的总数;;

步骤3.4.3、左手处理流损失项:计算m2HandNet模型所有帧的预测的左手姿态和所有帧的真实的左手姿态之间的误差,记为左手处理流损失项,,

其中,表示所有帧的预测的左手姿态,表示所有帧的真实的左手姿态,表示所有帧的预测的左手关节骨骼长度,表示所有帧的真实的左手关节骨骼长度;表示所有帧的精修左手姿态,表示所有帧的预测的无双手遮挡的左手姿态;表示所有帧的预测的左手姿态形变,表示所有帧的真实的左手姿态形变;

步骤3.4.4、计算右手处理流损失项:计算m2HandNet模型预测的所有帧的预测的右手姿态和真实的所有帧的真实的右手姿态之间的误差,记为右手处理流损失项:,

其中,表示所有帧的预测的右手姿态,表示所有帧的真实的右手姿态,表示所有帧的预测的右手关节骨骼长度,表示所有帧的真实的右手关节骨骼长度,表示所有帧的预测的无双手遮挡的右手姿态,表示所有帧的预测的右手姿态形变,表示所有帧的真实的右手姿态形变;

步骤3.4.5、计算左手处理流损失项和右手处理流损失项的总和:

。