欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024116566484
申请人: 吉林大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种姿态估计方法,其特征在于,所述方法包括:

获取目标对象在多个第一视频帧的多个第一初始三维姿态以及在多个第二视频帧的多个第二初始三维姿态,所述多个第一视频帧和所述多个第二视频帧均为从所述目标对象的视频帧集合中按照时间顺序进行间隔采样得到,且所述多个第二视频帧的采样频率小于所述多个第一视频帧,一个初始三维姿态对应于一个视频帧,所述多个第一视频帧和所述多个第二视频帧为按照时间先后排列的视频帧;

基于所述多个第二初始三维姿态中所述目标对象的多个关节点的初始三维位置,确定各个所述关节点在所述多个第二视频帧中的轨迹信息,所述轨迹信息用于表示关节点的运动情况;

基于各个所述关节点在所述多个第二视频帧中的轨迹信息,对所述目标对象的初始邻接矩阵进行调整,得到所述目标对象的目标邻接矩阵,所述初始邻接矩阵用于表示所述多个关节点通过骨骼相连的连接关系;

基于所述目标邻接矩阵、各个所述关节点之间的轨迹相似度以及所述多个第一初始三维姿态,确定所述目标对象在第三视频帧的姿态特征,所述第三视频帧为所述多个第一视频帧的中间帧;

基于所述目标对象在第三视频帧的姿态特征,确定所述目标对象在所述第三视频帧的目标三维姿态;

其中,所述所述基于所述目标邻接矩阵、各个所述第一初始三维姿态的初始三维姿态特征以及各个所述关节点之间的轨迹相似度,确定所述目标对象在第三视频帧的姿态特征,包括:将所述目标邻接矩阵、各个所述第一初始三维姿态的初始三维姿态特征以及各个所述关节点之间的轨迹相似度进行融合,得到各个所述第一初始三维姿态的融合姿态特征;

将各个所述第一初始三维姿态的融合姿态特征与各个第一视频帧在所述多个第一视频帧中的位置嵌入特征进行拼接,得到各个所述第一初始三维姿态的拼接姿态特征;

基于注意力机制对各个所述第一初始三维姿态的拼接姿态特征进行编码,得到所述目标对象在第三视频帧的姿态特征。

2.根据权利要求1所述的方法,其特征在于,所述基于所述多个第二初始三维姿态中所述目标对象的多个关节点的初始三维位置,确定各个所述关节点在所述多个第二视频帧中的轨迹信息,包括:基于所述多个第二初始三维姿态中所述目标对象的多个关节点的初始三维位置,确定各个所述第二视频帧中所述多个关节点的位移,所述位移用于表示关节点在相邻视频帧中的位置变化;

基于各个所述第二视频帧中所述多个关节点的位移,确定各个所述关节点在各个所述第二视频帧中的速度信息和方向信息;

将各个所述关节点在各个所述第二视频帧中的速度信息和方向信息进行拼接,得到各个所述关节点在所述多个第二视频帧中的轨迹信息。

3.根据权利要求1所述的方法,其特征在于,所述基于各个所述关节点在所述多个第二视频帧中的轨迹信息,对所述目标对象的初始邻接矩阵进行调整,得到所述目标对象的目标邻接矩阵,包括:基于各个所述关节点在所述多个第二视频帧中的轨迹信息,确定各个所述关节点之间的轨迹相似度;

基于各个所述关节点之间的轨迹相似度,对所述目标对象的初始邻接矩阵进行调整,得到所述目标对象的目标邻接矩阵。

4.根据权利要求3所述的方法,其特征在于,所述基于各个所述关节点在所述多个第二视频帧中的轨迹信息,确定各个所述关节点之间的轨迹相似度,包括:对各个所述关节点在所述多个第二视频帧中的轨迹信息进行特征提取,得到所述多个关节点的时空轨迹特征;

对所述时空轨迹特征进行卷积、线性变换和非线性变换,得到各个所述关节点的运动特征;

基于各个所述关节点的运动特征,确定各个所述关节点之间的轨迹相似度。

5.根据权利要求4所述的方法,其特征在于,所述对各个所述关节点在所述多个第二视频帧中的轨迹信息进行特征提取,得到所述多个关节点的时空轨迹特征,包括:对各个所述关节点在所述多个第二视频帧中的轨迹信息进行图卷积,得到各个所述关节点在各个所述第二视频帧中的空间轨迹特征;

将各个所述关节点在各个所述第二视频帧中的空间轨迹特征与各个第二视频帧在所述多个第二视频帧中的位置嵌入特征进行拼接,得到各个所述关节点的参考关节点特征;

基于注意力机制对各个所述关节点的参考关节点特征进行编码,得到所述多个关节点的时空轨迹特征。

6.根据权利要求1所述的方法,其特征在于,所述基于所述目标邻接矩阵、各个所述关节点之间的轨迹相似度以及所述多个第一初始三维姿态,确定所述目标对象在第三视频帧的姿态特征,包括:对所述多个第一初始三维姿态进行特征提取,得到各个所述第一初始三维姿态的初始三维姿态特征;

基于所述目标邻接矩阵、各个所述第一初始三维姿态的初始三维姿态特征以及各个所述关节点之间的轨迹相似度,确定所述目标对象在第三视频帧的姿态特征。

7.根据权利要求6所述的方法,其特征在于,所述对所述多个第一初始三维姿态进行特征提取,得到各个所述第一初始三维姿态的初始三维姿态特征,包括:对各个所述第一初始三维姿态进行嵌入编码,得到各个所述第一初始三维姿态的姿态嵌入特征;

基于所述初始邻接矩阵,对各个所述第一初始三维姿态的姿态嵌入特征进行图卷积,得到各个所述第一初始三维姿态的初始三维姿态特征。

8.根据权利要求1所述的方法,其特征在于,所述基于所述目标对象在第三视频帧的姿态特征,确定所述目标对象在所述第三视频帧的目标三维姿态,包括:对所述目标对象在第三视频帧的姿态特征进行卷积、线性变换和非线性变换,得到所述目标对象的多个关节点在所述第三视频帧中的位置,所述多个关节点在所述第三视频帧中的位置用于表示所述目标三维姿态。

9.根据权利要求1所述的方法,其特征在于,所述获取目标对象在多个第一视频帧的多个第一初始三维姿态以及在多个第二视频帧的多个第二初始三维姿态,包括:对所述多个第一视频帧和所述多个第二视频帧进行二维姿态估计,得到所述目标对象在各个所述第一视频帧的第一二维姿态以及在各个所述第二视频帧的第二二维姿态;

对各个所述第一视频帧的第一二维姿态以及在各个所述第二视频帧的第二二维姿态进行升维,得到所述目标对象在多个第一视频帧的多个第一初始三维姿态以及在多个第二视频帧的多个第二初始三维姿态。