欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 201910921085X
申请人: 湖北工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于改进自顶向下法多人姿态检测的行人运动预测方法,其特征在于,包括以下步骤:步骤1:输入原始多人行人视频;

步骤2:对输入视频进行行人边界框SSD处理,得到行人边界框b;

步骤3:对步骤2中获得的行人边界框b进行空间网络变换,提取出一个高质量的人体区域框;

步骤4:对每一个高质量人体区域框进行单人姿势检测,得到有冗杂的骨点置信度E;

步骤5:对有冗杂的骨点E,进行消除冗杂处理;

步骤6:将步骤3中获得的人体区域框映射至原图坐标中,得到原图坐标中的高质量区域框;

步骤7:将当前帧与前N帧进行步骤1-4的处理,分别得到N+1张图片的骨点E(di),i=1,

2,...,N+1,对这N+1张骨点图画出每张骨点的运动轨迹;

步骤8:对这N+1张图片进行光流处理,得到各个骨点的位移向量ε(d);

步骤9:将每一帧的骨点dj以及预计下一帧的新骨点v连接,得到人体骨骼框图;

步骤10:将步骤7中获得的N+1个连续帧E(di)和步骤8的光流处理后的骨点位移偏移量ε(d)传输到长短期记忆神经网络LSTM进行训练模型;

步骤11:步骤10中每进行M次训练则生成一次骨骼框图Ef,所述Ef即为实时的行人运动预测。

2.根据权利要求1所述的基于改进自顶向下法多人姿态检测的行人运动预测方法,其特征在于,步骤2的具体实现过程是:假设得到行人边界框为b,则:

b=(bcx,bcy,bw,bh)=(dwlcx+dcx,dhlcy+dcy,dwexp(lw),dhexp(lh))且其中,d表示先验框的位置,l表示边界框的预测位置,icx,icy分别表示边界框i中心的横坐标和纵坐标,iw,ih分别表示边界框i的宽和高,i可取b、d、l。

3.根据权利要求1所述的基于改进自顶向下法多人姿态检测的行人运动预测方法,其特征在于,步骤3的具体实现过程是:采用空间变换网络STN对行人边界框b提取出一个高质量的人体区域框其中,θ1,θ2,θ3均为反映人体区域框 变换前后坐标关系的向量系数, 为空间变换网络STN变换之后的区域框坐标。

4.根据权利要求1所述的基于改进自顶向下法多人姿态检测的行人运动预测方法,其特征在于,步骤4的具体实现过程是:对每一个高质量人体区域框 采用CNN单人姿势检测SPPE得到有冗杂的骨点置信度E;

其中,dj1、dj2分别为两个骨点的位置,Lc为两骨点组成的线段,u为计算该积分的中间系数,且u∈[0,1],p(u)为两个骨点dj1、dj2之间的插值,其计算方法为:p(u)=(1-u)dj1+udj2。

5.根据权利要求1所述的基于改进自顶向下法多人姿态检测的行人运动预测方法,其特征在于,步骤5的具体实现过程是:选取最大置信度的骨点Emax作为参考,定义η为标准的阈值,则:若E(di,dj)输出为1,则表示骨点di是冗杂的,应被消除;若E(di,dj)输出为0,则表示骨点dj是冗杂的,应被消除。

6.根据权利要求1所述的基于改进自顶向下法多人姿态检测的行人运动预测方法,其特征在于,步骤6的具体实现过程是:将人体区域框 映射至原图坐标中,即采用反空间变换网络STDN对其处理,得到原图坐标中的高质量区域框其中

[γ1 γ2]=[θ1 θ2]-1

γ3=-1×[γ1 γ2]θ3

其中,θ1,θ2,θ3均为反映人体区域框 变换前后坐标关系的向量系数,[γ1 γ2 γ3]为[θ1 θ2 θ3]的转置;

[θ1 θ2]的计算方法为:

θ3的计算方法为:

其中,W表示反空间变换网络输入层与输出层各个维度形成的矩阵,J(W,b)表示行人边界框b所在反空间变换网络中的位置。

7.根据权利要求1所述的基于改进自顶向下法多人姿态检测的行人运动预测方法,其特征在于,步骤8中:v=u+d=[ux+dx uy+dy]T

其中,v为该骨点在下一帧的新位置,u表示该骨点所在的位置,(x,y)表示该骨点的坐标,(ux,uy)表示下一帧骨点的坐标,dx、dy分别表示该骨点与下一帧骨点的距离,I(x,y)表示当前骨点所在行人边界框,J(x+dx,y+dy)表示下一帧骨点所在的行人边界框,wx、wy为定义光流法集成窗口的两个常量,其大小决定该算法时间复杂度与效果。