欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022107862047
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于RGB-D图像分割的多目标人员识别与定位方法,包含离线训练阶段和在线定位阶段两个阶段,其特征在于:离线训练阶段包括:

步骤1:利用RGB-D相机采集训练数据,训练数据包括rgb色彩图和深度图像;

步骤2:采用yolov3网络对步骤1的rgb色彩图进行多目标人员目标检测训练,得到训练结果,建立多目标检测模型;所述训练结果包括yolov3网络输出的目标在的rgb色彩图中的目标矩形框位置信息;

步骤3:根据步骤2得到的训练结果,将rgb色彩图分割,利用目标人脸数据进行分类学习,并建立目标识别模型;

步骤4:结合rgb色彩图和深度图像生成彩色深度图;

步骤5:根据步骤2得到的训练结果对步骤4得到的彩色深度图进行图像分割后利用卷积神经网络离线回归训练,得到位置估计模型;

在线定位阶段包括:

步骤6:利用RGB-D相机采集在线数据,在线数据包括rgb色彩图和深度图像;

步骤7:利用步骤2多目标检测模型和步骤3的目标识别模型完成人员识别;

步骤8:结合rgb色彩图和深度图像生成彩色深度图;

步骤9:利用步骤5位置估计模型完成人员目标的定位;

其中,步骤4生成彩色深度图具体包括:

步骤41:利用坐标系变换方法,将深度图像中的像素点与rgb色彩图对齐;

步骤42:利用映射的方法将原本灰度的深度图像转变成彩色深度图像;

步骤5具体包括为:根据步骤2得到的训练结果,将彩色深度图进行图像分割,保留目标矩形框范围内的深度图像,并将区域外的深度值置为255;将分割后的彩色深度图与对应的位置信息送入卷积神经网络训练位置估计模型。

2.根据权利要求1的基于RGB-D图像分割的多目标人员识别与定位方法,其特征在于,步骤3具体包括:步骤31:根据步骤2多目标人员目标检测训练的训练结果,利用得到的目标矩形框位置信息,分割rgb色彩图,得到每个人员目标的rgb色彩图分割图;

步骤32:利用Haar级联分类器对rgb色彩图分割图进行检测,提取目标人脸数据;

步骤33:采用Eigen Face方法利用步骤32提取的目标人脸数据进行分类学习,建立目标识别模型。

3.根据权利要求1的基于RGB-D图像分割的多目标人员识别与定位方法,其特征在于,步骤4生成彩色深度图还包括:步骤43:利用中值滤波平滑滤波器去除彩色深度图像的噪声;

步骤44:利用双边滤波进行彩色深度图像空洞修复。

4.根据权利要求1的基于RGB-D图像分割的多目标人员识别与定位方法,其特征在于:步骤1和步骤6中,RGB-D相机采集在线数据时,会一次同时生成一个rgb色彩图和一个深度图像。

5.根据权利要求1的基于RGB-D图像分割的多目标人员识别与定位方法,其特征在于,步骤7具体为:步骤71:将步骤6中RGB-D相机采集到的rgb色彩图送入yolov3网络,进行人员多目标检测;

步骤72:根据步骤71的多目标检测结果,提取每个目标的人脸数据;

步骤73:将采集到的人脸数据送入步骤3目标识别模型,完成人员识别。

6.根据权利要求1的基于RGB-D图像分割的多目标人员识别与定位方法,其特征在于:步骤8中对生成彩色深度图的过程与步骤4中对生成彩色深度图的过程相同。

7.根据权利要求4的基于RGB-D图像分割的多目标人员识别与定位方法,其特征在于,步骤9具体包括:步骤91:利用步骤7多目标检测模型输出的目标检测结果对步骤8中的彩色深度图进行图像分割;

步骤92:将步骤91中进行图像分割后的彩色深度图输入步骤5位置估计模型,得到人员位置,完成人员目标的定位。