欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025119657102
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于语义分割网络和深度几何约束的焊缝已焊区域分割方法,其特征在于,包括如下步骤:

获取待焊接件的RGB图像和深度图像;

对所述RGB图像进行增强处理得到增强图像,利用语义分割模型对所述增强图像进行图像识别,获取检测输出结果和分割输出结果,所述检测输出结果为用于标记焊缝已焊区域的矩形检测框,所述分割输出结果为用于标记已焊接区域的初步掩膜;

将所述增强图像与所述深度图像进行空间对齐,并基于颜色一致性、深度几何差异以及边界平滑约束构建能量模型;

采用公式构建能量模型,,其中,表示所述能量模型对应的统一能量函数,为用于度量初步分割概率与颜色一致性之间的差异度量值,表示当前待优化的目标像素的像素坐标,为用于表征属于焊缝已焊区域的置信度,,为邻域权重,表示的邻域像素的像素坐标,和用于描述像素间的局部关联关系,、分别表示像素坐标、像素坐标在所述深度图像中的深度值,表示深度差的平滑系数;为正则项抑制局部噪声并保持边界整体平滑的值,、、分别为权重系数;

采用所述能量模型对所述初步掩膜实施全局像素级优化确定掩膜边界,得到优化掩膜;

计算获取所述深度图像在边界邻域的梯度场、法线方向和局部曲率,沿所述法线方向对深度变化曲线进行插值,确定深度变化率达到极值或几何厚度发生跃迁的位置点坐标为真实空间边界点坐标,得到插值曲线;

利用所述插值曲线对所述优化掩膜进行深度插值处理,得到焊缝三维边界信息。

2.根据权利要求1所述的基于语义分割网络和深度几何约束的焊缝已焊区域分割方法,其特征在于,利用改进YOLO12分割模型对所述增强图像进行图像识别,所述改进YOLO12分割模型包括骨干网络、颈部特征融合网络以及分割检测头;

所述增强图像经所述骨干网络处理,得到特征图p2、特征图p3、特征图p4以及特征图p5;

所述颈部特征融合网络对所述特征图p5进行处理得到上采样特征E,所述上采样特征E与所述骨干网络输出的所述特征图p4进行拼接并处理得到初始融合特征图p4+;所述初始融合特征图p4+经过处理后得到上采样特征O,所述上采样特征O与所述骨干网络输出的所述特征图p3进行拼接并处理得到初始融合特征图p3+;所述初始融合特征图p3+经过处理后得到上采样特征G,所述上采样特征G与所述骨干网络输出的所述特征图p2进行拼接并处理得到超级融合特征图P2;所述超级融合特征图P2进行处理后得到输出特征H,所述输出特征H与所述初始融合特征图p3+融合并处理得到超级融合特征图P3;所述超级融合特征图P3卷积后与所述初始融合特征图p4+拼接并处理得到超级融合特征图P4;所述超级融合特征图P4进行处理后得到输出特征J,所述输出特征J与所述特征图p5融合并处理得到超级融合特征图P5;所述分割检测头包括segment-MSFA分割头模块,所述分割检测头用于对超级融合特征图P2、超级融合特征图P3、超级融合特征图P4以及超级融合特征图P5进行处理,得到尺度增强特征构成的序列 {Z2, Z3, Z4,Z5},所述序列 {Z2, Z3, Z4,Z5}同时进入所述分割检测头的掩膜建模与目标检测,输出所述检测输出结果和分割输出结果。

3.根据权利要求2所述的基于语义分割网络和深度几何约束的焊缝已焊区域分割方法,其特征在于,所述segment-MSFA分割头模块具有对应的边缘注意权重,其中,, g(·)为由3×3卷积、通道收缩与通道恢复组成的非线性映射,为Sigmoid函数;

所述segment-MSFA分割头模块的最终输出为。

4.根据权利要求2所述的基于语义分割网络和深度几何约束的焊缝已焊区域分割方法,其特征在于,所述骨干网络输出的特征图p2、特征图p3、特征图p4、特征图p5的空间分辨率依次为所述RGB图像的1/4、1/8、1/16、1/32。

5.根据权利要求2所述的基于语义分割网络和深度几何约束的焊缝已焊区域分割方法,其特征在于,所述颈部特征融合网络中的所述初始融合特征图p4+、所述初始融合特征图p3+、所述特征图p2的通道数分别为512、256、128。

6.根据权利要求4所述的基于语义分割网络和深度几何约束的焊缝已焊区域分割方法,其特征在于,所述颈部特征融合网络包含C3模块,从所述骨干网络输出的所述特征图p2通过一次上采样操作后与所述颈部特征融合网络中所述初始融合特征图p3+传递下来的特征进行拼接,使用所述C3模块进行特征处理得到所述超级融合特征图P2。

7.根据权利要求4所述的基于语义分割网络和深度几何约束的焊缝已焊区域分割方法,其特征在于,所述segment-MSFA分割头模块采用1×1卷积、3×3深度卷积和5×5深度堆叠卷积三条并行分支组成。

8.一种基于语义分割网络和深度几何约束的焊缝已焊区域分割系统,其特征在于,包括RGB-D相机和处理装置,所述RGB-D相机用于获取待焊接件的RGB图像和深度图像,所述处理装置用于实现如权利要求1至7任一项所述的基于语义分割网络和深度几何约束的焊缝已焊区域分割方法的步骤。