欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2018102533988
申请人: 青岛科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-08-30
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于图形化交互关系建模的组群识别方法,其特征在于,所述方法包括下述过程:

(1)人体目标识别跟踪过程:从视频图像中识别并跟踪人体目标;

(2)人体目标底层特征基础模型获取过程:将跟踪到的人体目标连续L帧的图像序列作为输入序列,输入训练好的简单行为分类器,获得表征人体目标行为的行为属性Vaction_Label;

构建人体目标跟踪属性Vtracking, ts、te表示L帧视频图像序列的起始时间和截止时间, 表示在起、止时间内的L帧视频图像序列中人体目标所有轨迹点横、纵坐标的均值,S表示人体目标轨迹的形状,HOG为人体目标轨迹的方向梯度直方图,HOF为人体目标轨迹的光流速度直方图,MBHx和MBHy分别为人体目标轨迹在x方向和y方向上的光流加速度;

构建人体目标及其上下文区域的时空属性:建立人体目标的三维柱状时空邻域,将所述三维柱状时空邻域分为内、外两部分,内部为内核圆柱体,剩余的圆筒区域为人体目标的上下文区域,建立所述内核圆柱体的时空梯度统计向量,作为人体目标的时空属性Vfocal_person,建立所述圆筒区域的时空梯度统计向量,作为人体目标上下文区域的时空属性Vcontext;

级联Vtracking、Vfocal_person、Vcontext和Vaction_Label,形成表征人体目标底层特征基础模型的多粒度信息融合模型:Vobject=[Vtracking Vfocal_person Vcontext Vaction_label];

(3)人体目标底层特征模型再学习过程:定义 为人体目标i在t时刻的底层特征基础模型, 将 作为循环神经网络RNN

的输入数据,采用RNN递推学习,获得人体目标i在t时刻经深度学习后的底层特征深度学习模型xi(t),

xi(t)=Vobject‑i(t)=[Vtracking‑i(t) Vfocal_person‑i(t) Vcontext‑i(t) Vaction_label‑i(t)];

(4)人体目标交互关系构建过程:

获取人体目标i与人体目标j之间的内部交互信息Mij(t):i,j∈N,N为视频图像中所检测到的人体目标的数量,xi(t)和xj(t)分别为人体目标i和人体目标j在t时刻的底层特征深度学习模型,xj(t)=Vobject‑j(t)=[Vtracking‑j(t) Vfocal_person‑j(t) Vcontext‑j(t) Vaction_label‑j(t)],rij‑1是xi(t)的属性[Vtracking‑i(t) Vcontext‑i(t)]与xj(t)的属性[Vtracking‑j(t) Vcontext‑j(t)]之间的相关系数,rij‑2是xi(t)的属性[Vfocal_person‑i(t) Vaction_label‑i(t)]与xj(t)的属性[Vfocal_person‑j(t) Vaction_label‑j(t)]之间的相关系数,且满足r1,r2∈[‑1,1],Cij、α为系数;

获取其他人体目标传向人体目标i与人体目标j的信息pij(t): 定义人体目标i的上下文区域含有的、不包括人体目标j的人体目标数量为Ω,人体目标j的上下文区域含有的、不包括人体目标i的人体目标数量为Ψ,ρi为Ω个人体目标传向人体目标i的信息量, rn是xn(t)和xi(t)之间的相关系数,xn(t)=Vobject‑n(t)=[Vtracking‑n(t) Vfocal_person‑n(t) Vcontext‑n(t) Vaction_label‑n(t)],ρj为Ψ个人体目标传向人体目标j的信息量, rm是xm(t)和xj(t)之间的相关系数,xm(t)=Vobject‑m(t)=[Vtracking‑m(t) Vfocal_person‑m(t) Vcontext‑m(t) Vaction_label‑m(t)],Kij、β为系数;

(5)组群识别过程:

构建图形化组群结构图:将视频图像中跟踪到的每个人体目标作为一个人体目标结点,将视频图像中的场景作为一个场景结点,人体目标结点与人体目标结点以及人体目标结点与场景结点的交互关系用连接边界表示,形成图形化组群结构图;

对于人体目标i与人体目标j,比较Mij(t)和pij(t)的信息差△MPij(t)=|Mij(t)‑pij(t)|,若△MPij(t)≤ρth,确定图形化组群结构图中的人体目标结点i和人体目标结点j之间不存在连接边界,否则,确定人体目标结点i和人体目标结点j之间存着连接边界ij;ρth为设定阈值;

若人体目标结点与其他人体目标结点之间均不存在连接边界,则该人体目标结点与场景结点之间不存在连接边界;若人体目标结点与其他任意一个人体目标结点之间存在连接边界,则该人体目标结点与场景结点之间存在连接边界;

通过连接边界连接的所有人体目标及场景识别为该场景下的一个组群。

2.根据权利要求1所述的方法,其特征在于,所述方法还包括下述预测组群行为的过程:

‑δDist_i_t

获取场景S传向处于该场景中的人体目标i的交互信息Msi(t):Msi(t)=1‑e ,Dist_i_t是Vaction_Label‑i(t)与 的距离,δ为待定系数,通过RNN训练获得;

在循环神经网络RNN中,采用激活函数s(t)预测组群行为,k1∈[1,Nk];Nk是场景S中所有人体目标的总和,g1是RNN输出层的分类函数,whs是RNN输出层的权重。

3.根据权利要求2所述的方法,其特征在于,所述方法还包括下述再预测人体目标行为的过程:

在循环神经网络RNN中,采用激活函数ai(t)对人体目标i的行为再预测,k2∈[1,Ni];k≠i;Ni是场景S中除人体目标i外的其他人体目标的总和,g2是RNN中间层的分类函数,wha是RNN中间层的权重。

4.根据权利要求1至3中任一项所述的方法,其特征在于,在所述人体目标识别跟踪过程中,基于可变形部件模型的粒子滤波快速行人检测与跟踪算法识别出视频图像中的人体目标。

5.根据权利要求1至3中任一项所述的方法,其特征在于,在所述人体目标底层特征基础模型获取过程中,采用卷积神经网络CNN作为所述简单行为分类器,获得所述表征人体目标行为的行为属性Vaction_Label。