欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2026102021912
申请人: 南昌大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种遮挡感知顶点推理与语义增强的三维姿态估计方法,其特征在于,包括以下步骤:

获取存在被遮挡关节的初始二维姿态序列;

通过遮挡感知顶点推理网络处理所述初始二维姿态序列,基于时序上下文信息对所述初始二维姿态序列中的被遮挡关节进行位置推理,生成初步补全的二维姿态序列,具体包括:遍历所述初始二维姿态序列中的每一帧以及每一帧中的每一个关节;判断当前关节是否为被遮挡关节;若所述当前关节为被遮挡关节,则执行以下子步骤:沿时间维度以当前帧为中心,向过去帧和未来帧双向搜索与所述被遮挡关节对应的最近的未被遮挡关节;根据搜索结果,采用以下规则之一确定所述被遮挡关节的位置坐标以对其进行补全:规则一,若在距离所述当前帧等距的过去帧和未来帧中均搜索到对应的未被遮挡关节,则将被遮挡关节的位置坐标确定为这两个未被遮挡关节坐标的中点;规则二,若仅在过去帧中搜索到对应的未被遮挡关节,则将被遮挡关节的位置坐标确定为所述过去帧中对应关节的位置坐标;规则三,若仅在未来帧中搜索到对应的未被遮挡关节,则将被遮挡关节的位置坐标确定为所述未来帧中对应关节的位置坐标;将所有经过补全的关节与原始的未被遮挡关节组合,形成所述初步补全的二维姿态序列;

为所述初步补全的二维姿态序列中的每个关节分配初始置信度得分,并将所述初步补全的二维姿态序列与所述初始置信度得分输入至置信度得分生成器,生成反映各关节真实质量的最终置信度得分,以得到包含各关节坐标和最终置信度得分的完整二维关节输入;

基于所述完整二维关节输入,通过语义特征增强网络对带噪声的三维姿态假设进行去噪优化,所述语义特征增强网络在训练阶段包含一个Transformer编码器分支和一个卷积网络编码器分支,其中所述卷积网络编码器分支为一个类Transformer的卷积网络Conv2DNet,所述Conv2DNet由多个Conv2D 块级联构成;在将特征输入至所述Conv2DNet前,首先将时序特征沿时间维度划分为G个组,重塑为类图像的二维特征图;每个所述Conv2D块的结构由以下公式定义:;;其中,表示特征输入,表示中间变量,表示批量标准化,表示多层感知机,表示多尺度卷积注意力机制,所述多尺度卷积注意力机制的核心组件为分组双卷积GDC和双标准化DN;

通过两个分支并行提取第一关节语义特征和第二关节语义特征,并利用语义特征匹配机制计算所述第一关节语义特征与所述第二关节语义特征之间的语义对齐损失,以监督并增强所述Transformer编码器的语义特征表征能力;

利用训练完成的所述Transformer编码器,对采样得到的多个三维姿态假设进行迭代去噪处理,输出最终的完整三维人体姿态序列。

2.根据权利要求1所述的方法,其特征在于,为所述初步补全的二维姿态序列中的每个关节分配初始置信度得分,并将所述初步补全的二维姿态序列与所述初始置信度得分输入至置信度得分生成器,生成反映各关节真实质量的最终置信度得分,以得到包含各关节坐标和最终置信度得分的完整二维关节输入的步骤,具体包括:基于搜索到的未被遮挡关节与当前帧的帧间距离,为每个关节分配一个初始置信度得分,其中,未被遮挡关节的初始置信度得分为1.00,被遮挡关节的初始置信度得分根据搜索距离进行扣减;

将所述初步补全的二维姿态序列和所有关节的初始置信度得分作为输入,送入一个由双层卷积函数构成的置信度得分生成器,所述置信度得分生成器建模所述关节坐标与所述初始置信度得分之间的关联关系,输出所述置信度得分,由以下公式定义:;

其中,为置信度得分生成器,为第n帧第i个关节的置信度得分;

将所述初步补全的二维姿态序列与所述置信度得分进行拼接,得到所述完整二维关节输入。

3.根据权利要求1所述的方法,其特征在于,所述多尺度卷积注意力机制的具体实现过程包括:通过设计可学习的核函数和作为卷积注意力机制所需的键K和值V;

所述分组双卷积GDC基于条带卷积实现,包括通过水平卷积学习相邻帧间的相关性,通过垂直卷积学习远距离帧间的相关性;

为实现多尺度上下文捕获,所述条带卷积采用多组不同大小的卷积核,卷积核大小分别为,,;

所述多尺度卷积注意力机制的计算过程由以下公式定义:

;

其中,,,,表示卷积核大小,表示通道,表示可学习参数的数量,为激活函数,表示矩阵乘法。

4.根据权利要求1所述的方法,其特征在于,利用语义特征匹配机制计算所述第一关节语义特征与所述第二关节语义特征之间的语义对齐损失的步骤,具体包括:获取由所述Transformer编码器分支输出的所述第一关节语义特征和由所述卷积网络编码器分支输出的所述第二关节语义特征;

通过一个带有超参数的通道蒸馏函数分别处理所述第一关节语义特征和所述第二关节语义特征,将特征激活值转换为通道维度的概率分布,以消除两个分支间的尺度差异,所述通道蒸馏函数定义如下:;

其中,为通道索引,为关节的时空位置,N是输入帧的数量,是人体关节的数量,表示第c通道的特征,表示特征在第 c 个通道、第i个位置的值;

计算两个概率分布之间的KL散度作为所述语义对齐损失,其定义如下:

;

其中表示Transformer编码器分支输出的特征在第 c 个通道包含所有i位置的值,表示卷积网络编码器分支输出的特征在第 c 个通道包含所有i位置的值。

5.根据权利要求1或4所述的方法,其特征在于,所述方法在训练阶段的总损失函数由三维姿态重构损失和所述语义对齐损失加权构成,其定义如下:;

其中,,为真实三维姿态,为所述Transformer编码器重构的去噪三维姿态,、为权重系数。

6.根据权利要求1所述的方法,其特征在于,利用训练完成的所述Transformer编码器,对采样得到的多个三维姿态假设进行迭代去噪处理,输出最终的完整三维人体姿态序列的步骤,具体包括:在测试阶段,不再使用所述卷积网络编码器分支;

随机采样H个初始三维姿态假设;

在总时间步长T内进行次迭代优化,每次迭代利用所述Transformer编码器对当前的三维姿态假设进行去噪处理以生成更优的假设;

所述次迭代的时间步长从T递减至1,递减规律为;

完成次迭代后,输出最终优化得到的所述完整三维人体姿态序列。

7.一种遮挡感知顶点推理与语义增强的三维姿态估计系统,其特征在于,包括:

数据获取模块,用于获取存在被遮挡关节的初始二维姿态序列;

遮挡感知顶点推理模块,用于通过遮挡感知顶点推理网络处理所述初始二维姿态序列,基于时序上下文信息对所述初始二维姿态序列中的被遮挡关节进行位置推理,生成初步补全的二维姿态序列,具体包括:遍历所述初始二维姿态序列中的每一帧以及每一帧中的每一个关节;判断当前关节是否为被遮挡关节;若所述当前关节为被遮挡关节,则执行以下子步骤:沿时间维度以当前帧为中心,向过去帧和未来帧双向搜索与所述被遮挡关节对应的最近的未被遮挡关节;根据搜索结果,采用以下规则之一确定所述被遮挡关节的位置坐标以对其进行补全:规则一,若在距离所述当前帧等距的过去帧和未来帧中均搜索到对应的未被遮挡关节,则将被遮挡关节的位置坐标确定为这两个未被遮挡关节坐标的中点;规则二,若仅在过去帧中搜索到对应的未被遮挡关节,则将被遮挡关节的位置坐标确定为所述过去帧中对应关节的位置坐标;规则三,若仅在未来帧中搜索到对应的未被遮挡关节,则将被遮挡关节的位置坐标确定为所述未来帧中对应关节的位置坐标;将所有经过补全的关节与原始的未被遮挡关节组合,形成所述初步补全的二维姿态序列;

置信度得分生成模块,用于为所述初步补全的二维姿态序列中的每个关节分配初始置信度得分,并将所述初步补全的二维姿态序列与所述初始置信度得分输入至置信度得分生成器,生成反映各关节真实质量的最终置信度得分,以得到包含各关节坐标和最终置信度得分的完整二维关节输入;

语义特征增强模块,用于基于所述完整二维关节输入,通过语义特征增强网络对带噪声的三维姿态假设进行去噪优化,所述语义特征增强网络在训练阶段包含一个Transformer编码器分支和一个卷积网络编码器分支,其中所述卷积网络编码器分支为一个类Transformer的卷积网络Conv2DNet,所述Conv2DNet由多个Conv2D 块级联构成;在将特征输入至所述Conv2DNet前,首先将时序特征沿时间维度划分为G个组,重塑为类图像的二维特征图;每个所述Conv2D 块的结构由以下公式定义:;;其中,表示特征输入,表示中间变量,表示批量标准化,表示多层感知机,表示多尺度卷积注意力机制,所述多尺度卷积注意力机制的核心组件为分组双卷积GDC和双标准化DN;通过两个分支并行提取第一关节语义特征和第二关节语义特征,并利用语义特征匹配机制计算所述第一关节语义特征与所述第二关节语义特征之间的语义对齐损失,以监督并增强所述Transformer编码器的语义特征表征能力;

三维姿态输出模块,用于利用训练完成的所述Transformer编码器,对采样得到的多个三维姿态假设进行迭代去噪处理,输出最终的完整三维人体姿态序列。

8.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时,实现如权利要求1-6任一项所述的一种遮挡感知顶点推理与语义增强的三维姿态估计方法的步骤。