欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019112682076
申请人: 杭州海康威视数字技术股份有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-07-21
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种点云标注方法,其特征在于,所述方法包括:在图像上生成第一二维框,以选出当前待标注的目标对象;

根据所述第一二维框,在点云上生成一个三维框,以对所述点云中的所述目标对象进行标注,所述三维框位于所述目标对象对应的视锥区域内,所述点云和所述图像是针对同一场景确定的。

2.如权利要求1所述的方法,其特征在于,所述根据所述第一二维框,在点云上生成一个三维框,包括:

根据所述第一二维框,从所述点云中确定所述目标对象对应的视锥区域;

根据所述目标对象的类别,确定所述三维框的尺寸;

根据所述目标对象对应的视锥区域的位置和所述三维框的尺寸,在所述点云上生成所述三维框。

3.如权利要求2所述的方法,其特征在于,所述根据所述第一二维框,从所述点云中确定所述目标对象对应的视锥区域,包括:确定点云图像,所述点云图像是指所述点云在图像坐标系中对应的图像;

从所述点云图像中,确定位于所述第一二维框内的多个像素点;

将所述多个像素点在所述点云中对应的三维点所占的空间区域确定为所述目标对象对应的视锥区域。

4.如权利要求3所述的方法,其特征在于,所述图像是通过摄像头采集得到的,所述点云是通过点云采集器采集得到的,所述点云采集器包括飞行时间TOF相机和/或激光雷达;

所述确定点云图像,包括:

根据所述点云采集器与所述摄像头之间的外参、以及所述摄像头的内参和畸变系数,将所述点云投影到所述图像坐标系中,得到所述点云图像。

5.如权利要求3所述的方法,其特征在于,所述图像是通过摄像头采集得到的,所述点云是通过将双目相机采集得到的两张图像进行转换得到的;

所述确定点云图像,包括:

将所述双目相机采集的两张图像中的基准图像转换到所述图像坐标系中,得到所述点云图像,所述基准图像中的像素点与所述点云中的三维点存在映射关系。

6.如权利要求1-5任一所述的方法,其特征在于,所述根据所述第一二维框,在点云上生成一个三维框之后,还包括:根据所述第一二维框的位置和尺寸,调整所述三维框的位置和尺寸。

7.如权利要求6所述的方法,其特征在于,所述根据所述第一二维框的位置和尺寸,调整所述三维框的位置和尺寸,包括:对所述三维框的位置和/或尺寸进行初次调整;

在所述图像中生成第二二维框,所述第二二维框为所述三维框在所述图像上的投影的外包络框;

根据所述第二二维框的位置和尺寸、以及所述第一二维框的位置和尺寸,对初次调整后的三维框的位置和/或尺寸进行二次调整,以使二次调整后的三维框能够包围所述点云中的所述目标对象。

8.如权利要求7所述的方法,其特征在于,所述对所述三维框的位置和/或尺寸进行初次调整之前,还包括:

确定与所述第一二维框对应的三维目标;

所述对所述三维框的位置和/或尺寸进行初次调整,包括:根据所述第一二维框对应的三维目标的位置和尺寸,对所述三维框的位置和/或尺寸进行初次调整。

9.如权利要求8所述的方法,其特征在于,所述三维框为三维矩形框;

所述根据所述第一二维框对应的三维目标的位置和尺寸,对所述三维框的位置和/或尺寸进行初次调整,包括:

在所述点云的俯视方向上,将所述三维框的几何中心移动至所述三维目标的几何中心处;和/或

当检测到第一调整操作时,在所述俯视方向上调整所述三维框的朝向,以使调整后的三维框的朝向与所述图像中所述目标对象的朝向一致;和/或当检测到第二调整操作时,在所述俯视方向上调整所述三维框的水平位置、长度和宽度中的至少一个,以使所述三维框在所述俯视方向上的轮廓与所述三维目标在所述俯视方向上的轮廓对齐。

10.如权利要求7所述的方法,其特征在于,所述三维框为三维矩形框;

所述根据所述第二二维框的位置和尺寸、以及所述第一二维框的位置和尺寸,对初次调整后的三维框的位置和/或尺寸进行二次调整,包括:当检测到第三调整操作时,在所述点云的正视方向上调整所述三维框的垂向位置和高度中的至少一个,以使所述第二二维框的上下边缘的位置和尺寸与所述第一二维框的上下边缘的位置和尺寸对齐;和/或当检测到第四调整操作时,在所述点云的俯视方向上调整所述三维框的水平位置、长度、宽度和朝向中的至少一个,以使所述第二二维框的左右边缘的位置和尺寸与所述第一二维框的左右边缘的位置和尺寸对齐。

11.如权利要求1所述的方法,其特征在于,所述方法还包括:将标注有所述三维框的点云作为样本点云,对初始对象识别网络进行训练,得到对象识别模型;

当进行对象识别时,通过所述对象识别模型,对包括待识别对象的点云进行识别。

12.一种点云标注装置,其特征在于,所述装置包括:第一生成模块,用于在图像上生成第一二维框,以选出当前待标注的目标对象;

第二生成模块,用于根据所述第一二维框,在点云上生成一个三维框,以对所述点云中的所述目标对象进行标注,所述三维框位于所述目标对象对应的视锥区域内,所述点云和所述图像是针对同一场景确定的。

13.如权利要求12所述的装置,其特征在于,所述第二生成模块包括:第一确定子模块,用于根据所述第一二维框,从所述点云中确定所述目标对象对应的视锥区域;

第二确定子模块,用于根据所述目标对象的类别,确定所述三维框的尺寸;

第一生成子模块,用于根据所述目标对象对应的视锥区域的位置和所述三维框的尺寸,在所述点云上生成所述三维框。

14.如权利要求13所述的装置,其特征在于,所述第一确定子模块包括:第一确定单元,用于确定点云图像,所述点云图像是指所述点云在图像坐标系中对应的图像;

第二确定单元,用于从所述点云图像中,确定位于所述第一二维框内的多个像素点;

第三确定单元,用于将所述多个像素点在所述点云中对应的三维点所占的空间区域确定为所述目标对象对应的视锥区域。

15.如权利要求14所述的装置,其特征在于,所述图像是通过摄像头采集得到的,所述点云是通过点云采集器采集得到的,所述点云采集器包括飞行时间TOF相机和/或激光雷达;

所述第一确定单元具体用于:

根据所述点云采集器与所述摄像头之间的外参、以及所述摄像头的内参和畸变系数,将所述点云投影到所述图像坐标系中,得到所述点云图像。

16.如权利要求14所述的装置,其特征在于,所述图像是通过摄像头采集得到的,所述点云是通过将双目相机采集得到的两张图像进行转换得到的;

所述第一确定单元具体用于:

将所述双目相机采集的两张图像中的基准图像转换到所述图像坐标系中,得到所述点云图像,所述基准图像中的像素点与所述点云中的三维点存在映射关系。

17.如权利要求12-16任一所述的装置,其特征在于,所述装置还包括:调整模块,用于根据所述第一二维框的位置和尺寸,调整所述三维框的位置和尺寸。

18.如权利要求17所述的装置,其特征在于,所述调整模块包括:第一调整子模块,用于对所述三维框的位置和/或尺寸进行初次调整;

第二生成子模块,用于在所述图像中生成第二二维框,所述第二二维框为所述三维框在所述图像上的投影的外包络框;

第二调整子模块,用于根据所述第二二维框的位置和尺寸、以及所述第一二维框的位置和尺寸,对初次调整后的三维框的位置和/或尺寸进行二次调整,以使二次调整后的三维框能够包围所述点云中的所述目标对象。

19.如权利要求18所述的装置,其特征在于,所述调整模块还包括:第三确定子模块,用于确定与所述第一二维框对应的三维目标;

所述第一调整子模块具体用于:根据所述第一二维框对应的三维目标的位置和尺寸,对所述三维框的位置和/或尺寸进行初次调整。

20.如权利要求19所述的装置,其特征在于,所述三维框为三维矩形框;

所述第一调整子模块具体:

在所述点云的俯视方向上,将所述三维框的几何中心移动至所述三维目标的几何中心处;和/或

当检测到第一调整操作时,在所述俯视方向上调整所述三维框的朝向,以使调整后的三维框的朝向与所述图像中所述目标对象的朝向一致;和/或当检测到第二调整操作时,在所述俯视方向上调整所述三维框的水平位置、长度和宽度中的至少一个,以使所述三维框在所述俯视方向上的轮廓与所述三维目标在所述俯视方向上的轮廓对齐。

21.如权利要求18所述的装置,其特征在于,所述三维框为三维矩形框;

所述第二调整子模块具体用于:当检测到第三调整操作时,在所述点云的正视方向上调整所述三维框的垂向位置和高度中的至少一个,以使所述第二二维框的上下边缘的位置和尺寸与所述第一二维框的上下边缘的位置和尺寸对齐;和/或当检测到第四调整操作时,在所述点云的俯视方向上调整所述三维框的水平位置、长度、宽度和朝向中的至少一个,以使所述第二二维框的左右边缘的位置和尺寸与所述第一二维框的左右边缘的位置和尺寸对齐。

22.如权利要求12所述的装置,其特征在于,所述装置还包括:训练模块,用于将标注有所述三维框的点云作为样本点云,对初始对象识别网络进行训练,得到对象识别模型;

识别模块,用于当进行对象识别时,通过所述对象识别模型,对包括待识别对象的点云进行识别。

23.一种点云标注系统,其特征在于,所述系统包括可移动设备和点云标注设备,所述可移动设备包括点云获取部件和摄像头;

所述点云获取部件用于获取点云,将所述点云发送给所述点云标注设备;

所述摄像头用于拍摄图像,将所述图像发送给所述点云标注设备,所述点云和所述图像是针对同一场景确定的;

所述点云标注设备用于接收所述点云和所述图像,在所述图像上生成第一二维框,以选出当前待标注的目标对象;根据所述第一二维框,在所述点云上生成一个三维框,以对所述点云中的所述目标对象进行标注,所述三维框位于所述目标对象对应的视锥区域内。