欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018111589198
申请人: 中国地质大学(武汉)
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-02-23
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于稀疏编码的加速鲁棒特征双模态手势意图理解方法,其特征在于,包括以下步骤:S1获取同步的深度手势图像和RGB手势图像,所述手势属于预设的C种手势之一,对深度手势图像进行前景图像提取得到第一前景图像,对RGB手势图像进行前景图像提取得到第二前景图像,其中:所述深度手势图像的深度数据包括用户索引,所述深度数据由16位二进制数字组成,其中高13位表示用户与获取深度手势图像数据的设备之间的距离,低3位是用户索引,低三位从000到110,分别代表背景,用户1至用户6,所述深度手势图像的前景图像提取方法为:S101读取所述深度手势图像上各点的16位深度数据表示为DepthID,判断其低三位USHORTplayer=DepthID&0x07是否为0;

S102若USHORTplayer为0,则该点为背景点,深度数据置为0;

S103若USHORTplayer不为0,则该点为前景点,保留该点深度数据;

S104遍历所述深度手势图像的任何一点,重复步骤S101~S103,完成所述深度手势图像的前景图像提取,得到所述第一前景图像;

所述RGB手势图像通过迭代阈值方法实现前景图像分割,依据图像灰度值T进行分割,T不断迭代,当T不再变化时即为最终分割的阈值,具体方法如下:S1.1计算出所述RGB手势图像的最大灰度值Zmax和最小灰度值Zmin,令初始阈值为S1.2根据阈值T0将所述RGB手势图像分割成前景图像和背景图像,计算出前景图像的平均灰度值Z0、背景图像的平均灰度值Zb和新的阈值S1.3使用T1迭代步骤S1.2中的T0,多次重复步骤S1.2,直到T1=T0,得到的前景图像即为所述第二前景图像;

S2使用SURF算法对第一前景图像进行特征提取,对提取的特征进行稀疏编码,并使用多类线性SVM分类算法得到每种预设手势的第一hinge损失函数,其中:使用加速鲁棒特征算法对第一前景图像进行特征提取的具体方法为:S201构造Hessian矩阵和尺度空间表示,

通过计算下式构造Hessian矩阵,并用积分图像代替卷积来简化计算过程:其中σ表示所述第一前景图像中点(x,y)的尺度参数,Lxx(x,σ)是高斯二阶微分在点x处与第一前景图像I的卷积,积分图像计算公式:I∑(x,y)为图像上点(i,j)的积分图像值,积分图像是对高斯卷积运算的简化,采用盒子滤波器近似计算Hessian矩阵的行列式:Det(H)=Lxx*Lyy-(Lxy)2≈DxxDyy-(0.9Dxy)2S202确定特征点及其主方向,使用非极大值抑制来初始确定特征点并通过插值精确定位特征点,然后计算特征点附近的Harr小波响应值的dx,dy以及每个特征点的角度,并选择最大响应角度为主方向;

S203生成特征描述子,在所述第一前景图像上选取50个特征点,对于要选择的每个特征点,选择长度为20s的区域,s是特征点的比例,并根据主方向旋转,然后将该区域划分为4×4=16个子区域,计算Haar小波在水平和垂直方向上的响应计算,并统计每个子区域中的以下4个值[∑dx,∑dy,∑|dx|,∑|dy|],得到16×4=64维的SURF特征,这50个点的SURF特征构成所述第一前景图像的特征描述符X0;

对提取的特征进行稀疏编码的方法具体为:

S2.1训练阶段,使用预设的训练图像特征X=[X1,X2,...,Xn]、训练基向量字典及稀疏表示系数α优化目标函数,其中X是D维特征空间中的一组SURF特征描述符,目标函数为:

其中λ为正则化参数,S(ai)是稀疏代价函数S(.)是稀疏代价函数,λ=0.15,S(ai)为L1范数代价函数 或对数代价函数按照如下方法优化训练:

步骤a:首先固定φi,调整αi,使得目标函数最小,

步骤b:然后固定αi,调整φi,使得目标函数最小,

步骤c:多次重复步骤a和b,迭代改变φi及αi直至收敛,得到特征描述符X进行稀疏编码结果α=[α1,α2,...,αn];

使用多类线性SVM分类算法得到每种预设手势的第一hinge损失函数的具体步骤为:S2.2构造最大池函数,在特征描述符X进行稀疏编码的结果α每列定义以下池函数:z=F(φ)

zj=max{|α1j|,|α2j|,...,|αMj|}其中F(φ)为稀疏码的最大池函数,z为池化特征,zj是z的第j个元素,αij是稀疏编码结果α的第i行和第j列的矩阵元素,M是特征描述符X0包括的SURF特征的数量;

S2.3利用zj构造线性核函数如下:

其中 为图像特征点(s,t)在l层的稀疏编码最大池函数;

S2.4构造线性SVM的决策函数f(z)

使用训练集 通过一对所有策略训练C个线性SVM,每个SVM的优化目标为:

分别得到每种预设手势的第一hinge损失函数

S3使用SURF算法对第二前景图像进行特征提取,对提取的特征进行稀疏编码,并使用多类线性SVM分类算法得到每种预设手势的第二hinge损失函数,所使用的方法与所述步骤S2完全相同;

S4使用D-S证据理论方法分别对每种预设手势的第一hinge损失函数和第二hinge损失函数进行决策融合得到识别结果,具体方法为:S4.1分别使用每个第一hinge损失函数 构造 定义识别框架Θ上的基本概率分配为:

其中Θ=[H11,H12,…,H1C],其中H1j的手势类别为j,j∈{1,2,...C},0<β<1为控制参数,φj为满足以下条件的递减函数:φj(0)=0

S4.2根据D-S证据理论分别计算C个手势类别的mass函数mg1(H1j),得到包括C个mass函数的第一全局BPA,mass函数的计算方法如下:其中:

S4.3对于C个hinge损失函数重复步骤S4.1和4.2,得到包括C个mass函数mg2(H2j)的第二全局BPA;

S4.4由所述第一全局BPA和所述第二全局BPA,计算出组合mass函数Mj(A),计算方法如下:S4.5筛选出C个组合mass函数Mj(A)的最大值MAX(Mj(A)),确定第j种手势为识别结果。

2.如权利要求1所述的基于稀疏编码的加速鲁棒特征双模态手势意图理解方法,其特征在于:所述深度手势图像通过Kinect设备获取。