1.一种用于停车场车位占据检测的3D语义占据预测方法,其特征在于,包括以下步骤:步骤S1,通过停车场内的摄像头采集停车场场景的图像数据;
步骤S2,从采集的图像数据中提取图像特征,并引入DepthAnything预测图像中每个像素点的深度信息;
步骤S3,根据提取的图像特征和预测的深度信息重建停车场场景的3D占据栅格空间;
步骤S4,在深度引导下的3D占据栅格空间中,对空间内每个体素进行精确的语义分类/识别,重建出包括遮挡和图像不可见区域在内的复杂的具有语义标签的三维场景;
步骤S5,基于重建的复杂三维场景进行车位占据预测,然后根据占据预测结果识别出车位异常情况。
2.根据权利要求1所述的方法,其特征在于,步骤S1中,所述图像数据为二维彩色的图像 I(u,v),其中,(u,v) 是图像平面上的像素坐标。
3.根据权利要求2所述的方法,其特征在于,步骤S2中,使用ResNet-50提取图像特征,具体包括:将图像 I(u,v) 输入ResNet-50,输出图像I(u,v) 在每个像素坐标 (u,v) 处的特征向量 F(u,v),其维度为 B×d×H×W,其中,B表示一次前向传播中处理的图像数量;d表示通道数;H表示输出特征图的高度;W表示输出特征图的宽度。
4.根据权利要求3所述的方法,其特征在于,步骤S2中,引入DepthAnything预测图像中每个像素点的深度信息,具体包括:将特征向量F(u,v) 输入DepthAnything,输出图像 I(u,v) 在每个像素坐标(u,v) 处预测的深度信息 (u,v),其维度为 B×1×H×W,其中,1表示通道数为1。
5.根据权利要求4所述的方法,其特征在于,步骤S3具体包括:步骤S31,使用深度信息(u,v) 和摄像头内参矩阵 K 将2D的图像 I(u,v) 的像素坐标 (u,v) 转换为3D空间坐标(X,Y,Z),由下式表示为:;
式中, 是摄像头光心坐标,和 是水平和垂直方向上的焦距;
步骤S32,使用Transformer架构进行特征传播,将2D的特征向量F(u,v) 传递到3D空间,并生成3D特征图 ;
步骤S33,利用Transformer架构进行特征交互,增强3D特征图的语义信息,并生成完整的3D语义场景。
6.根据权利要求5所述的方法,其特征在于,步骤S32具体包括:将预定义的体素查询与对应的2D的特征向量F(u,v) 进行交叉注意力机制计算,得到体素查询的3D体素特征向量,进而生成3D特征图,由下式表示为:;
;
式中,是体素查询的集合中的具体的体素查询;是2D图像特征序列;是体素查询对应的可见图像集合;P(p,t)是将3D点p投影到图像t上的函数;是图像t的2D特征;g为聚合函数;是更新体素查询后的集合即的集合;m是掩码标记;DCA为可变形交叉注意力机制;DA为可变形注意力机制。
7.根据权利要求6所述的方法,其特征在于,步骤S33具体包括:将 3D 特征图 的体素特征向量进行自注意力机制计算,增强特征向量之间的语义关联,并将交互后的特征向量进行聚合,得到完整的3D语义场景,由下式表示为:;
式中,DSA为可变形自注意力机制;f 是体素查询或 mask token;p 是体素查询或mask token 的位置。
8.根据权利要求7所述的方法,其特征在于,步骤S4中,对空间内每个体素进行精确的语义分类/识别,得到体素特征,进行上采样并投影到输出空间,得到输出,其中, M +1 表示M个语义类和一个空类,即得到占据预测的结果;Z表示深度维度。
9.根据权利要求7所述的方法,其特征在于,步骤S5中,根据占据预测结果识别出车位异常情况具体包括:步骤S51,计算异常得分,输入3D 特征图的体素特征向量,输出3D 体素异常得分s(x),由下式表示为:;
式中,异常得分s(x)表示该体素属于异常物体的可能性;g是非线性变换函数;x是输入的数据;y是对应的label;是未归一化的联合概率密度的估计;
步骤S52,阈值处理,将异常得分s(x)与设定的阈值τ进行比较,如果 s(x)>τ,则将该体素标记为异常体素,由下式表示为:A(x)=s(x)>τ
式中,A(x)表示3D异常体素图,A(x)=1表示异常体素,A(x)=0表示正常体素,τ表示阈值;
步骤S53,融合3D语义场景,将3D异常体素图A(x)与完整的3D语义场景进行融合,融合后的3D语义场景中,异常体素被标记为“unknown”,由下式表示为:;
式中,表示融合后的3D语义占据预测结果;表示完整的3D 语义场景。