1.三维点云目标检测及异常状态评估方法,其特征在于,所述方法包括以下步骤:S100:搭建基于激光雷达的电力场景三维感知平台,采集电力场景中的目标设备的三维点云数据,对采集的三维点云数据进行数据标注与划分,制作电力场景目标检测数据集,并划分为训练集、验证集和测试集;
S200:构建三维点云目标检测及异常状态评估模型,模型包括点集抽取模块、基于局部上下文的特征细化模块、质心预测和聚合模块、检测头和异常状态评估模块;
S300:将电力场景目标检测数据集中的训练集输入三维点云目标检测及异常状态评估模型,通过点集抽取模块处理多传感器融合后的点云数据,提取点云数据的局部结构和点对点关系;
S400:基于局部上下文的特征细化模块利用扩展边界框上下文线索提取目标特征,通过共享多层感知机和双线性正则化块增强特征表达能力;
S500:通过上下文质心预测模块获取目标的核心位置,并结合扩展边界框内的代表性点估计实例中心偏移量,利用聚合模块进一步提升对点云目标的全局和局部特征的捕获能力;
S600:通过检测头及异常状态评估模块实现目标类别和状态的精准预测,分类异常状态并量化评估;
S700:利用多任务损失函数、训练集和验证集对模型进行参数优化,直至模型收敛,完成模型训练,将测试集输入训练好的模型,评估模型的检测性能,对测试集中的数据进行评估,得到测试结果。
2.根据权利要求1所述的方法,其特征在于,S100包括:
S110:在电力场景中布设无人机采集设备,将激光雷达安装于无人机底部的预留位置,并通过数据线将激光雷达与数据采集设备连接,确保激光雷达能够正常供电和传输点云数据;
S120:启动激光雷达对电力场景中的目标设备进行点云数据采集,调整激光雷达扫描参数以获得覆盖整个场景的高质量三维点云数据,并将数据保存为标准格式文件;
S130:使用点云标注工具对采集的三维点云数据的50%进行标注,其中,对点云数据中的目标类别进行标注,并对目标的正常状态和常见异常状态进行详细标注,生成对应的标注文件,记为数据集 ,剩下的50%数据不进行标注,记为;
S140:对标注完成的数据集进行划分,其中随机选取70%的数据作为训练集,记为,用于模型训练;将30%的数据作为验证集,记为,用于模型性能评估;将未标注的数据集作为测试集,记为,用于测试模型的泛化性和检测效果。
3.根据权利要求2所述的方法,其特征在于,点集抽取模块包括多个集合抽象层,每个集合抽象层包括采样层、分组层和点网层,S300包括:S310:输入多传感器融合后的点云数据,将点云数据表示为N×4大小的向量(x,y,z,i),其中(x,y,z)分别为点云数据的三维位置坐标,i为点云数据反射强度,N为点云数量;
S320:以N ×(d + C)矩阵作为输入,该矩阵来自N个具有d维坐标和C维点特征的点,给定输入点{x1,x2,…,xn}至采样层,使用迭代最远点采样来选择点的子集{xi1,xi2,…,xim},使得xij是离集合{xi1,xi2,…,xij-1}最远的点;
S330:将一个大小为N×(d + C)的点集和一组大小为的质心的坐标输入分组层进行分组,输出为大小为的点集组,其中每组对应一个局部区域,其中,N是输入的点集的点,d为空间维度,C为特征维度,为质心的数量,K是质心点邻域的点数;
S340:将数据大小为的个局部区域输入点网层,将局部区域中点的坐标转换为相对于质心点的局部帧:, i = 1,2,…,K和j =1,2,…,d,其中是质心的坐标,使用点网作为局部模式学习的基本构建块,通过相对坐标和点特征捕获局部区域中的点对点关系,输出中的每个局部区域由其质心和编码质心邻域的局部特征抽象出来,输出数据量为,其中,为经过点网抽象后的局部特征维度。
4.根据权利要求3所述的方法,其特征在于,在每个集合抽象层后加入基于局部上下文的特征细化模块,局部上下文的特征细化模块包括局部上下文融合块和全局双线性正则化块,S400包括:S410:将点网层的输出输入到局部上下文融合块,局部上下文融合块遵循球查询算法,找到所有点中某个点的k个邻居,在分散点之间的3D欧几里得距离的度量下,通过结合自身与其k个邻居之间的边,在3D空间中定义一个的局部几何图,具体为:;
所有点P的局部几何图表示为 ;
此外,通过共享对局部几何图进行编码,并通过在k个邻居上应用最大池化函数来聚合局部几何上下文:;
其中,是第一个局部上下文融合块中共享的MLP编码本地特征图;实现共享MLP操作时,具体为1×1卷积,批处理归一化和激活层处理;
S420:并列地,C维空间中的局部特征图形成为:
;
其中,是的对应特征;
特征映射F的局部特征图具体为:
;
通过共享对局部特征图进行编码,并通过在k个邻居上应用最大池化函数来聚合局部特征上下文,具体为:;
其中是另一个共享的MLP编码本地特征图;
S430:将局部几何上下文和局部特征上下文连接起来,作为局部上下文融合块的输出:;
S440:将局部上下文融合块的输出再输入至全局双线性正则化块,应用权重矩阵以减少融合输出的通道维度,其中r是一个约简因子;再利用ReLU函数提供与线性映射后的非线性以及低秩全局双线性响应的非负性要求;最后,通过沿空间轴对N个元素进行平均池化操作,将空间信息压缩为全局通道描述符:;
使用另一个权重矩阵、ReLU函数以及沿通道轴对元素的平均池化操作,生成全局点方向描述符:;
通过取和的外积的平方根来捕获低秩全局双线性响应:
;
S450:通过共享和两个快捷连接后,最终恢复了通道维度,并生成了一个全尺寸的全局感知图:;
将局部上下文融合输出减去,并使用激活在最终输出的特征映射中添加更多的非线性,得到最终的基于局部上下文的特征细化模块输出:。
5.根据权利要求4所述的方法,其特征在于,S500包括:
S510:显式预测点云中各点到目标实例中心的偏移量,并通过正则化约束最小化预测不确定性,其损失函数定义为:;
式中,表示点到中心点的真值偏移量,为指示函数,用于确定点是否用于估计实例中心,用于预测实例中心的点数,即扩展后的真值边界框内筛选的有效点集,利用上下文中的周围代表性点进行质心预测,表示前景点即属于目标实例的点,为预测偏移量,为实例点的平均预测值;
S520:对于移位的代表性质心点,利用Point-Net++模块来学习每个实例的潜在表示,将相邻点转换为以质心为原点的局部规范坐标系,再通过共享MLP提取逐点特征,通过对称函数聚合点特征。
6.根据权利要求5所述的方法,其特征在于,S600包括:
S610:将聚合的质心点特征馈送到提案生成头中,生成包含目标位置、尺寸、方向的预测候选框,同时预测目标的类别和状态,其中,状态包括正常状态和异常状态;
S620:结合异常状态的预测结果对预测候选框进行初步过滤,对初步筛选后的候选框应用3D-NMS处理后进行过滤,生成初步检测结果;
S630:对经过3D-NMS处理过滤后的边界框进行进一步的分析,得到最终检测结果;其中,最终检测结果包括目标类别、预测框位置、尺寸、方向以及目标的状态信息,其中,目标的状态信息包括正常和异常;对于异常状态,基于边界框的倾斜角度或内部点云分布模式,计算目标结构的倾斜值,生成量化结果,并输出异常事件的置信度评分。
7.根据权利要求6所述的方法,其特征在于,S700包括:
S710:模型中使用了多任务损失来进行联合优化,总损失包括降采样策略损失、质心预测损失、分类损失和盒生成损失:;
盒生成损失进一步分解为位置、大小、角度-bin、角度-res和角角部分:;
S720:将大型装配场景点云数据集训练集输入模型,通过损失函数优化模型参数,训练完成后,使用验证集评估超参数的性能,并根据结果调整网络超参数,以寻找最优的局部超参数解,从而得到在当前数据集下表现最佳的网络模型。
8.根据权利要求7所述的方法,其特征在于,S700中对测试集中的数据进行评估,包括:S730:测试集输入训练好的三维检测模型,模型推理完毕之后得到测试结果;
S740:下载与安装open3d平台,利用得到的测试结果文件和数据集原始点云文件基于open3d平台进行离线的可视化,验证检测结果的精确性以及模型的泛化能力。
9.三维点云目标检测及异常状态评估系统,其特征在于,包括数据集获取模块、三维点云目标检测及异常状态评估模型构建模块、点集抽取模块、基于局部上下文的特征细化模块、质心预测模块和聚合模块、检测头及异常状态评估模块、训练和测试模块;
数据集获取模块,用于搭建基于激光雷达的电力场景三维感知平台,采集电力场景中的目标设备的三维点云数据,对采集的三维点云数据进行数据标注与划分,制作电力场景目标检测数据集,并划分为训练集、验证集和测试集;
三维点云目标检测及异常状态评估模型构建模块,用于构建三维点云目标检测及异常状态评估模型,模型包括点集抽取模块、基于局部上下文的特征细化模块、质心预测和聚合模块、检测头和异常状态评估模块、训练和测试模块;
点集抽取模块,用于接收电力场景目标检测数据集中的训练集,处理多传感器融合后的点云数据,提取点云数据的局部结构和点对点关系;
基于局部上下文的特征细化模块,利用扩展边界框上下文线索提取目标特征,通过共享多层感知机和双线性正则化块增强特征表达能力;
通过质心预测模块获取目标的核心位置,并结合扩展边界框内的代表性点估计实例中心偏移量,利用聚合模块进一步提升对点云目标的全局和局部特征的捕获能力;
检测头及异常状态评估模块,实现目标类别和状态的精准预测,分类异常状态并量化评估;
训练和测试模块,利用多任务损失函数、训练集和验证集对模型进行参数优化,直至模型收敛,完成模型训练,将测试集输入训练好的模型,评估模型的检测性能,对测试集中的数据进行评估,得到测试结果。
10.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述的方法的步骤。