欢迎来到知嘟嘟! 联系电话:13095918853 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13095918853
知嘟嘟经纪人
收藏
专利号: 2017100326071
申请人: 中山大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-07-25
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于动态时间规整与多核学习的动作识别方法,其特征在于:包括以下步骤:一、建立BoW表示

S11.记动作类别总数为C,令第j类动作的训练动作样本集为其中Tij表示第j类动作的第i个训练动作样本,i=1,2,..,Nj,Nj表示第j类动作的训练动作样本数;定义包含C类训练动作样本的集合其中为训练动作样本总数;S12.对训练动作样本Ti的每帧图像提取底层描述子,基于提取的底层描述子建立起训练动作样本Ti的自相似矩阵SSM,然后基于自相似矩阵对每帧图像进行Z个不同时间尺度的SSM描述子提取;训练动作样本Ti各帧图像提取的SSM描述子按照各帧顺序形成描述子序列述子,表示描述子序列第j′l帧的描述子,L表示最优路径上对齐帧的数目,β=1/i;S26.令i=i+1然后执行步骤S23~S25,直至i>Nj,得到第j类动作的最终的平均模板Rj;S27.令j=j+1然后执行步骤S22~S26,直至j>C;S28.通过步骤S21~S27的计算,获得C个平均模板组成的平均模板集合R={R1,R2...,RC},其中Rj表示第j类动作的最终的平均模板;S29.对平均模板和训练动作样本进行量化:S291 .从所有训练动作样本的描述子中随机选取e′个SSM描述子,然后利用k-means算法将其聚类成p′个簇,p′<<e′,得到包含有p′个词汇的码本;S292.分别计算训练动作样本Ti的描述子序列中每帧的SSM描述子与步骤S291中获得的码本的各个词汇之间的距离,将每帧的SSM描述子分别与距离最接近的词汇关联起来,得到训练动作样本Ti量化的描述子序列;S293.对各个训练动作样本进行步骤S292的操作;通过步骤S292中同样的方式对各个平均模板进行量化,可得到各个平均模板量化的描述子序列;S210.对训练动作样本Ti的量化描述子序列利用动态时间规整方法计算其与各个平均模板的量化描述子序列的平均距离,训练动作样本Ti的量化描述子序列到各个平均模板的量化描述子序列的平均距离构成一个C维向量,该C维向量为训练动作样本Ti的平均模板表示;对动作样本集合T中各训练动作样本进行同样操作获取各训练动作样本的平均模板表示;S211.为Z个不同时间尺度分别建立平均模板表示,具体地,针对每一个时间尺度,在步骤S21~S210中利用该时间尺度的描述子进行该时间尺度下的动作平均模板的构建、码本的构建以及平均模板表示的构建;将某个训练动作样本在Z个时间尺度下分别获得的平均模板表示拼接成一个向量,作为该训练动作样本最终的平均模板表示;三、结合BoW表示和平均模板表示的动作表示S31.利用增广特征多核学习(AFMKL)结合BoW表示和平均模板表示,增广特征多核学习的决策函数如下:其中x表示BoW表示,x′表示平均模板表示,ω和β表示学习权重,表示对BoW表示的非线性映射函数,φ表示对平均模板表示的非线性映射函数,b为偏置项,d1和d2为对BoW表示、平均模板表示进行加权的系数;S32.通过最小化结构风险函数,建立以下的最优化问题:dm≥0,m=1,2.

其中

s .t.表示服从后面的约束,d=[d1 ,d2]T表示加权系数向量,表示二次正则化项,xi表示第i个训练动作样本的BoW表示,x′i表示第i个训练动作样本的平均模板表示,yi∈{+1,-1}表示第i个训练动作样本的正负标签,ξ=(ξ1,ξ2,...,ξN)T表示松弛变量向量,ξi表示第i个训练动作样本的松弛变量,λ表示惩罚参数,N为训练动作样本的数目;S33.为式(3)中每个不等式约束引入拉格朗日乘子αi,并记α=(α1,α2,...,αN)T为对偶变量,将式(3)中的优化问题转换为其对偶形式:

0≤αi≤λ,i=1,...,N.其中,αi和αj分别表示对第i个训练动作样本、第j个训练动作样本构成的不等式约束所引入的拉格朗日乘子;为核函数;S34.对公式(2)在训练动作样本集上进行优化求解:S341 .固定加权系数向量d,(4)中的对偶问题转换成关于对偶变量α的优化问题,此时利用标准的SVM的求解方法对对偶变量α进行求解;S342.固定对偶变量α,利用梯度下降的方法对加权系数向量d进行求解;S343.迭代地进行S341和S342,直至式(2)收敛或达到最大迭代数;S35.利用步骤S34确定加权系数向量d和对偶变量α后,得到最终的决策函数:四、对测试动作样本进行动作识别S41.利用第一部分的内容求取测试动作样本的BoW表示;S42.利用第二部分的内容求取测试动作样本的平均模板表示;S43.将测试动作样本的BoW表示、平均模板表示输入至最终的决策函数中,决策函数输出分类结果。2.根据权利要求1所述的基于动态时间规整与多核学习的动作识别方法,其特征在于:所述训练动作样本/测试动作样本平均模板表示中,动作样本与平均模板之间的平均距离的具体过程如下:其中Dmin表示用动态时间规整方法求取的训练动作样本/测试动作样本与平均模板之间的最短距离,ω(c′l)表示最优路径上帧对c′l的加权系数。