1.融合纹理信息和深度信息的多人头部姿态估计方法,其特征在于,包括如下步骤:
利用获取的原始彩色图像来检测头部特征,结合图像的深度信息获取用于匹配的3D特征点;
基于得到的3D特征点,对原始彩色图像的纹理特征进行提取,并采用稀疏表达的方法进行处理,得到纹理特征描述子;
将提取的纹理特征描述子与获取的当前图像中的目标区域进行匹配,以找到最佳匹配的位置,匹配到的位置即为人头的新位置,基于新位置得到头部的姿态;
所述对提取的纹理特征进行稀疏表达,得到纹理特征描述子的方法,包括如下步骤:获取历史图像,以人的头部为目标,提取目标的各个变体和特征建模为字典;获取新检测当前帧图像,进行纹理特征提取,得到新检测目标的纹理信息,并基于构建的字典对新检测的目标进行表达,进行稀疏编码,以使得重建误差最小,更新得到最优权重系数;基于更新后的权重与字典计算纹理特征描述子;根据计算得到的历史帧纹理特征描述子对字典进行持续更新;
所述匹配的方法采用计算相似性度量的方法,找到最佳匹配的位置,过程如下:采用最近邻算法,对当前帧图像中的候选目标和历史帧图像中的候选目标进行相似性度量;将深度信息加入至相似性度量中,并采用指数函数转化为特征相似度值,得到基于深度信息相似度值;通过稀疏表达将新检测的目标建模后得到的目标向量,将重建误差作为纹理信息的相似度,并采用指数函数,将位置和深度差异转化为特征相似度的值,得到彩色纹理信息相似度;获取当前检测到图像中的候选目标的纹理特征,将基于深度信息的相似度和彩色纹理信息相似度进行融合,得到候选目标与标记目标的相似度值,基于相似度确定新检测图像中的最佳匹配位置。
2.如权利要求1所述的融合纹理信息和深度信息的多人头部姿态估计方法,其特征在于,基于彩色图像来检测头部特征,提取头部特征点的方法,包括:基于深度信息对彩色图像进行前景提取;
在前景提取后的图像中进行人头检测,得到包含有头部区域选取框的深度图;
对得到头部区域深度图进行滤波处理,得到滤波后的头部区域深度图,并提取头部特征点。
3.如权利要求2所述的融合纹理信息和深度信息的多人头部姿态估计方法,其特征在于,结合图像深度信息得到3D特征点的方法,具体如下:将滤波后的头部区域深度图和原始彩色图像对齐,以使得深度图与彩色图像在相同的坐标系统下;
获取滤波后的头部区域深度图中提取的头部特征点;
利用对齐后的深度图像,结合头部特征点在彩色图像中的像素坐标,计算出头部特征点在三维空间中的坐标,得到3D特征点的空间坐标。
4.如权利要求1所述的融合纹理信息和深度信息的多人头部姿态估计方法,其特征在于:对头部3D特征点使用卡尔曼滤波器进行参数平滑处理。
5.如权利要求1所述的融合纹理信息和深度信息的多人头部姿态估计方法,其特征在于,基于得到的3D特征点,对原始彩色图像的纹理特征进行提取的方法,包括:获取原始彩色图像;
根据3D特征点,确定感兴趣的头部区域;
根据确定的头部区域,在原始彩色图像中将其裁剪出来,得到仅包含头部的图像区域;
对裁剪得到的头部图像区域进行纹理特征的提取。
6.融合纹理信息和深度信息的多人头部姿态估计系统,其特征在于,包括:
3D特征点识别模块,被配置为用于利用获取的原始彩色图像来检测头部特征,结合图像的深度信息获取用于匹配的3D特征点;
特征提取模块,被配置为用于基于得到的3D特征点,对原始彩色图像的纹理特征进行提取,并采用稀疏表达的方法进行处理,得到纹理特征描述子;
匹配模块,被配置为用于将提取的纹理特征描述子与获取的当前图像中的目标区域进行匹配,以找到最佳匹配的位置,匹配到的位置即为人头的新位置,基于新位置得到头部的姿态;
所述对提取的纹理特征进行稀疏表达,得到纹理特征描述子的方法,包括如下步骤:获取历史图像,以人的头部为目标,提取目标的各个变体和特征建模为字典;获取新检测当前帧图像,进行纹理特征提取,得到新检测目标的纹理信息,并基于构建的字典对新检测的目标进行表达,进行稀疏编码,以使得重建误差最小,更新得到最优权重系数;基于更新后的权重与字典计算纹理特征描述子;根据计算得到的历史帧纹理特征描述子对字典进行持续更新;
所述匹配的方法采用计算相似性度量的方法,找到最佳匹配的位置,过程如下:采用最近邻算法,对当前帧图像中的候选目标和历史帧图像中的候选目标进行相似性度量;将深度信息加入至相似性度量中,并采用指数函数转化为特征相似度值,得到基于深度信息相似度值;通过稀疏表达将新检测的目标建模后得到的目标向量,将重建误差作为纹理信息的相似度,并采用指数函数,将位置和深度差异转化为特征相似度的值,得到彩色纹理信息相似度;获取当前检测到图像中的候选目标的纹理特征,将基于深度信息的相似度和彩色纹理信息相似度进行融合,得到候选目标与标记目标的相似度值,基于相似度确定新检测图像中的最佳匹配位置。
7.一种电子设备,其特征在于,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成权利要求1‑5任一项所述的融合纹理信息和深度信息的多人头部姿态估计方法中的步骤。
8.一种计算机可读存储介质,其特征在于,用于存储计算机指令,所述计算机指令被处理器执行时,完成权利要求1‑5任一项所述的融合纹理信息和深度信息的多人头部姿态估计方法中的步骤。