1.一种多模态大模型的探地雷达病害数据智能解译方法,其特征在于,包括:步骤1:利用多种不同中心频率的探地雷达,针对不同类型的地下病害进行差异化数据采集,获取原始雷达数据;
步骤2:对所述原始雷达数据进行预处理后裁剪为预设尺寸的图像,并对图像中的病害目标进行标注,构建包括多个图像数据的目标检测数据集;
步骤3:将所述目标检测数据集中的图像数据转换为适配多模态大模型的序列化格式的数据,所述多模态大模型选用PaliGemma的视觉-语言模型;
步骤4:利用所述目标检测数据集对多模态大模型进行第一次微调;
步骤5:根据第一次微调后的多模态大模型对所述目标检测数据集的目标检测结果,利用自适应阈值优化的阈值分割技术对所述图像数据进行二值化处理,生成用于语义分割任务的二值化标签掩码;
步骤6:将所述图像数据及对应的所述二值化标签掩码转换为序列化格式,构建语义分割数据集,利用所述语义分割数据集对所述多模态大模型进行第二次微调;
步骤7:根据第二次微调后的多模态大模型对所述语义分割数据集的语义分割结果,对病害目标进行文本描述标注,构建图像描述数据集,利用所述图像描述数据集对所述多模态大模型进行第三次微调;
在所述步骤7中,所述文本描述包括几何特征描述与物理特征描述;
所述几何特征描述包括目标双曲线形状的判读和目标位置的表征;
所述物理特征描述包括信号分布范围、信号振幅强弱、信号幅值衰减程度和多次波是否存在;
步骤8:利用三次微调后的多模态大模型实现地下病害的智能解译分析并生成综合解译报告,所述综合解译报告包括病害类别、空间位置、几何特征描述与物理特征描述。
2.根据权利要求1所述的多模态大模型的探地雷达病害数据智能解译方法,其特征在于,所述多种不同中心频率的探地雷达包括:中心频率为400MHz的探地雷达和中心频率为900MHz的探地雷达;其中,所述中心频率为400MHz的探地雷达针对空洞类病害进行扫描,所述中心频率为900MHz的探地雷达针对裂缝类病害进行扫描。
3.根据权利要求1所述的多模态大模型的探地雷达病害数据智能解译方法,其特征在于,所述步骤2包括:步骤2.1:对所述原始雷达数据依次进行去除直达波、带宽滤波、信号增益及背景滤除处理;
步骤2.2:将处理后的雷达数据裁剪为预设尺寸的图像;
步骤2.3:使用LabelImg软件对图像中的病害目标进行标注,构建所述目标检测数据集。
4.根据权利要求1所述的多模态大模型的探地雷达病害数据智能解译方法,其特征在于,所述步骤3中,所述序列化格式为Jsonl格式,所述Jsonl格式包括图像文件名、任务前缀和任务输出内容三个关键字段,其中,"image"表示图像文件名,"prefix"表示任务前缀,"suffix"表示任务输出内容;
所述任务前缀包括:目标检测任务前缀,表示为"
5.根据权利要求1所述的多模态大模型的探地雷达病害数据智能解译方法,其特征在于,所述多模态大模型的所述第一次微调、所述第二次微调和所述第三次微调均采用参数高效微调策略,所述参数高效微调策略包括:在模型微调过程中,冻结所述多模态大模型的视觉编码器的全部参数,对所述多模态大模型的解码器中的注意力机制相关层进行微调,所述注意力机制相关层包括注意力输出投影层、键值联合投影层和查询投影层;可训练层采用float32精度,冻结层保持float16精度,利用JAX框架对微调过程进行加速优化。
6.根据权利要求1所述的多模态大模型的探地雷达病害数据智能解译方法,其特征在于,所述步骤5包括:步骤5.1:根据第一次微调后的多模态大模型对所述目标检测数据集中的图像数据进行目标检测,输出每个图像数据对应的目标检测边界框,根据所述目标检测边界框,从所述图像数据中提取目标区域;
步骤5.2:基于预设的目标函数和贝叶斯优化终止条件,采用贝叶斯优化方法对阈值分割的关键参数进行自动寻优;
步骤5.3:根据优化得到所述关键参数,利用自适应阈值分割方法生成所述目标区域的二值化掩码;
步骤5.4:将所述目标区域的二值化掩码覆盖所述图像数据中的对应区域,将所述图像数据中的非目标区域的像素设为背景,得到所述二值化标签掩码。
7.根据权利要求6所述的多模态大模型的探地雷达病害数据智能解译方法,其特征在于,所述目标函数表示为:;
式中,为目标函数,为关键参数,为灰度对比度,为边缘平滑性,为模型联通性,为灰度对比度的权重,为边缘平滑性的权重,为模型联通性的权重。
8.根据权利要求1所述的多模态大模型的探地雷达病害数据智能解译方法,其特征在于,所述步骤8包括:步骤8.1获取待测探地雷达数据;
步骤8.2:对所述待测探地雷达数据依次进行去除直达波、带宽滤波、信号增益及背景滤除处理后,裁剪为预设尺寸的图像;
步骤8.3:将步骤8.2获取的图像数据转换为适配多模态大模型的序列化格式的数据;
步骤8.4:将所述序列化格式的数据输入至三次微调后的多模态大模型中进行地下病害的智能解译分析,生成所述综合解译报告。
9.一种多模态大模型的探地雷达病害数据智能解译装置,其特征在于,适用于权利要求1-8任一项所述的多模态大模型的探地雷达病害数据智能解译方法,包括:数据采集模块,利用多种不同中心频率的探地雷达,针对不同类型的地下病害进行差异化数据采集,获取原始雷达数据;
数据预处理模块,用于对所述原始雷达数据进行预处理后裁剪为预设尺寸的图像,并对图像中的病害目标进行标注,构建包括多个图像数据的目标检测数据集;将所述目标检测数据集中的图像数据转换为适配多模态大模型的序列化格式的数据;
模型微调模块,利用所述目标检测数据集对多模态大模型进行第一次微调;根据第一次微调后的多模态大模型对所述目标检测数据集的目标检测结果,利用自适应阈值优化的阈值分割技术对所述图像数据进行二值化处理,生成用于语义分割任务的二值化标签掩码;将所述图像数据及对应的所述二值化标签掩码转换为序列化格式,构建语义分割数据集,利用所述语义分割数据集对所述多模态大模型进行第二次微调;根据第二次微调后的多模态大模型对所述语义分割数据集的语义分割结果,对病害目标进行文本描述标注,构建图像描述数据集,利用所述图像描述数据集对所述多模态大模型进行第三次微调;
解译分析模块,利用三次微调后的多模态大模型实现地下病害的智能解译分析并生成综合解译报告。