1.一种单模态滑坡识别预测模型的训练方法,其特征在于,应用于第一设备端,包括:获取通过预设的单模态滑坡数据采集装置采集得到的单模态滑坡数据;其中,所述单模态滑坡数据包括以下任一项:滑坡发生位置的卫星光学影像数据、机载光学影像数据、卫星合成孔径雷达影像数据、地基合成孔径雷达数据、机载合成孔径雷达数据、机载激光雷达数据、现场勘查照片、滑坡体地表传感器采集到的监测数据、坡体内部传感器所采集到的监测数据、语音数据、环境的声音数据;
将所述单模态滑坡数据作为样本输入、将与所述单模态滑坡数据对应的滑坡结果数据作为期望样本输出,构建包含所述样本输入和所述期望样本输出的训练样本;其中,所述滑坡结果数据包括:滑坡是否发生、滑坡类型;
利用所述训练样本对待训练的单模态滑坡识别预测模型进行训练,得到目标单模态滑坡识别预测模型;其中,所述单模态滑坡识别预测模型至少用于表征单模态滑坡数据与不同类型的滑坡的发生概率之间的对应关系。
2.根据权利要求1所述的方法,其特征在于,所述单模态滑坡数据中还包含有:低于预设精度的地理位置信息,对应的,所述滑坡结果数据中还包含有:不低于所述预设精度的地理位置信息,所述地理位置信息包括:经度信息、纬度信息和高程信息。
3.根据权利要求2所述的方法,其特征在于,所述利用所述训练样本对待训练的单模态滑坡识别预测模型进行训练,得到目标单模态滑坡识别预测模型,包括:将包含有地理位置信息的训练样本,基于包含有滑坡识别预测损失和地理位置预测损失的目标损失函数,对待训练的单模态滑坡识别预测模型进行训练,得到所述目标单模态滑坡识别预测模型;其中,所述目标单模态滑坡识别预测模型用于表征单模态滑坡数据、不同类型的滑坡的发生概率以及地理位置信息三者之间的对应关系。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述将所述单模态滑坡数据作为样本输入、将与所述单模态滑坡数据对应的滑坡结果数据作为期望样本输出,构建包含所述样本输入和所述期望样本输出的训练样本,包括:将所述单模态滑坡数据作为样本输入、将与所述单模态滑坡数据对应的滑坡结果数据作为期望样本输出,并构建由所述样本输入和所述期望样本输出构成的基础样本对;
对作为所述样本输入的单模态滑坡数据采用自监督学习的方式构建监督信号,并确定与所述监督信号对应的期望监督输出,且构建由所述样本输入和所述期望监督输出构建的自监督增量样本对;
基于所述基础样本对和所述自监督增量样本对构建得到所述训练样本。
5.根据权利要求4所述的方法,其特征在于,所述自监督学习的方式包括:随机遮挡所述单模态滑坡数据中的一部分区域,并用未被遮挡的区域预测被遮挡的区域,或利用前一时刻的单模态滑坡数据预测当前时刻的单模态滑坡数据。
6.根据权利要求1-3、5任一项所述的方法,其特征在于,所述第一设备端将各自目标单模态滑坡识别预测模型的模型参数发送给第二设备端。
7.一种滑坡识别预测基座模型的训练方法,其特征在于,应用于第二设备端,包括:获取多个第一设备端分别发来的单模态滑坡识别预测模型的模型参数;其中,所述单模态滑坡识别预测模型为基于权利要求1-6任一项所述的单模态滑坡识别预测模型的训练方法训练得到;
基于具有通道注意力机制和空间注意力机制的多项式神经网络,对与多个所述模型参数对应的多个单模态滑坡识别预测模型进行多模态数据融合,得到目标滑坡识别预测基座模型。
8.根据权利要求7所述的方法,其特征在于,所述获取多个第一设备端分别发来的单模态滑坡识别预测模型的模型参数,包括:获取多个所述第一设备端分别发来的单模态滑坡识别预测模型的特征图。
9.根据权利要求7所述的方法,其特征在于,还包括:
仅在预设时长内接收各所述第一设备端分别发来的新单模态滑坡识别预测模型的模型参数;其中,接收起始时刻为所述目标滑坡识别预测基座模型的训练完成时刻,所述预设时长为基于各所述第一设备端的设备性能和各所述第一设备端与所述第二设备端之间的数据传输性能确定得到;
基于各所述新单模态滑坡识别预测模型的模型参数,更新所述目标滑坡识别预测基座模型。
10.根据权利要求9所述的方法,其特征在于,还包括:
不再接收在超出所述预设时长外各所述第一设备端分别发来的新单模态滑坡识别预测模型的模型参数;或丢弃在超出所述预设时长外各所述第一设备端分别发来的新单模态滑坡识别预测模型的模型参数。
11.根据权利要求9所述的方法,其特征在于,还包括:
暂存在超出所述预设时长外所述第一设备端发来的新单模态滑坡识别预测模型的模型参数,并将暂存的新单模态滑坡识别预测模型的模型参数与下一所述预设时长内接收到的其它的新单模态滑坡识别预测模型的模型参数一并参与后续的滑坡识别预测基座模型的更新。
12.根据权利要求9所述的方法,其特征在于,所述预设时长可通过下述方式确定得到:分别统计每个所述第一设备端在其所述设备性能和所述数据传输性能下,将生成的新单模态滑坡识别预测模型或所述新单模态滑坡识别预测模型的模型参数发送至所述第二设备端的实际耗时;
在各所述实际耗时中,确定与能够接收到预设数量的新单模态滑坡识别预测模型的模型参数对应的第一目标时长,以及确定与能够接收到占单模态滑坡识别预测模型的总数量预设占比的新单模态识别预测模型的模型参数对应的第二目标时长;
基于所述第一目标时长或所述第二目标时长确定得到所述预设时长。
13.根据权利要求12所述的方法,其特征在于,所述基于所述第一目标时长或所述第二目标时长确定得到所述预设时长,包括:对所述第一目标时长或所述第二目标时长结合预设的增加量修正值进行冗余修正,并将经冗余修正后得到的时长确定为所述预设时长;其中,所述增加量修正值对应的时长基于至少一个所述第一设备端发来新的单模态滑坡识别模型的模型参数的时刻超出所述预设时长的截止时刻的超出时长确定得到。
14.根据权利要求9所述的方法,其特征在于,所述基于各所述新单模态滑坡识别预测模型的模型参数,更新所述目标滑坡识别预测基座模型,包括:对每个所述新单模态滑坡识别预测模型的模型参数,均验证所述新单模态滑坡识别预测模型和对应的单模态滑坡识别预测模型分别对预设的验证样本输出的预测结果之间的精度差别;
响应于所述精度差别表现为所述新单模态滑坡识别预测模型的预测精度更高,将相应的新单模态滑坡识别预测模型确定为有效更新模型;
仅使用各所述有效更新模型对所述目标滑坡识别预测基座模型中相应的单模态滑坡识别预测模型部分进行更新。
15.根据权利要求7所述的方法,其特征在于,还包括:
响应于接收到的模型参数处于压缩和/或加密状态,按预先约定的解压缩和/或解密方式进行处理。
16.根据权利要求7所述的方法,其特征在于,在所述基于具有通道注意力机制和空间注意力机制的多项式神经网络,对与多个所述模型参数对应的多个单模态滑坡识别预测模型进行多模态数据融合之前,还包括:对各所述单模态滑坡识别预测模型的模型参数进行合并或去重处理;其中,所述合并或去重处理指将任意两个之间具有超过预设相似度的单模态滑坡识别预测模型的模型参数以合并或去除的方式使最终仅留存一个。
17.根据权利要求16所述的方法,其特征在于,所述基于具有通道注意力机制和空间注意力机制的多项式神经网络,对与多个所述模型参数对应的多个单模态滑坡识别预测模型进行多模态数据融合,包括:拼接经去重后的各单模态滑坡识别预测模型的特征图,得到拼接后特征图;
基于所述通道注意力机制确定所述拼接后特征图中各部分特征图的通道注意力权重;
基于所述空间注意力机制确定所述拼接后特征图中各部分特征图的空间注意力权重;
将所述拼接后特征图的各部分特征图结合对应的通道注意力权重和空间注意力权重进行特征融合。
18.根据权利要求7-17任一项所述的方法,其特征在于,所述多项式神经网络经过下述方式得到:在由残差网络充当的基座网络上,将各残差模块原先在跨层连接上采用的加操作转换为乘积操作,并去除原有的激活函数。
19.一种滑坡识别预测模型的本地化方法,其特征在于,应用于第三设备端,包括:向第二设备端发起包含本地所使用的滑坡数据的目标模态的模型本地化请求;
基于所述第二设备端的目标滑坡识别预测基座模型获得裁剪后模型或轻量化模型;
其中,所述裁剪后模型为将目标滑坡识别预测基座模型中与所述目标模态关联度低于预设程度的模型参数和模型结构裁剪掉后所得到的模型,所述目标滑坡识别预测基座模型基于权利要求7-17任一项所述的滑坡识别预测基座模型的训练方法得到,所述轻量化模型为在无法基于所述目标模态完成对所述目标滑坡识别预测基座模型中模型参数和模型结构的裁剪时对所述目标滑坡识别预测基座模型通过预设的轻量化处理后得到的模型;
对所述裁剪后模型或所述轻量化模型,采用与所述目标模态的本地化滑坡训练样本进行微调训练,得到本地化滑坡识别预测模型。
20.一种滑坡识别预测方法,其特征在于,应用于第三设备端,包括:
接收对目标地理位置采集得到的目标模态的实际滑坡数据;
调用预设的本地化滑坡识别预测模型处理所述实际滑坡数据,得到输出的滑坡识别结果;其中,所述本地化滑坡识别预测模型为基于权利要求19的滑坡识别预测模型的本地化方法得到;
根据所述滑坡识别结果确定不同类型的滑坡的发生概率。
21.根据权利要求20所述的方法,其特征在于,所述第三设备端根据不同类型的滑坡的发生概率生成不同的预警信息,将所述预警信息发送给至少一个第四设备端。
22.一种第一设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-6中任一项所述的单模态滑坡识别预测模型的训练方法。
23.一种第二设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求7-18中任一项所述的滑坡识别预测基座模型的训练方法。
24.一种第三设备,其特征在于,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求19所述的滑坡识别预测模型的本地化方法和/或权利要求20-21任一项所述的滑坡识别预测方法。
25.一种滑坡识别预测系统,其特征在于,包括:
多个第一设备端,用于获取通过预设的单模态滑坡数据采集装置采集得到的单模态滑坡数据,所述单模态滑坡数据包括以下任一项:滑坡发生位置的卫星光学影像数据、机载光学影像数据、卫星合成孔径雷达影像数据、地基合成孔径雷达数据、机载合成孔径雷达数据、机载激光雷达数据、现场勘查照片、滑坡体地表传感器采集到的监测数据、坡体内部传感器所采集到的监测数据;将所述单模态滑坡数据作为样本输入、将与所述单模态滑坡数据对应的滑坡结果数据作为期望样本输出,构建包含所述样本输入和所述期望样本输出的训练样本,所述滑坡结果数据包括:滑坡是否发生、滑坡类型;利用所述训练样本对待训练的单模态滑坡识别预测模型进行训练,得到目标单模态滑坡识别预测模型,所述单模态滑坡识别预测模型至少用于表征单模态滑坡数据与不同类型的滑坡的发生概率之间的对应关系;
第二设备端,用于接收各所述第一设备端分别发来的单模态滑坡识别预测模型的模型参数;基于具有通道注意力机制和空间注意力机制的多项式神经网络,对与多个所述模型参数对应的多个单模态滑坡识别预测模型进行多模态数据融合,得到目标滑坡识别预测基座模型;接收第三设备端发起包含其本地所使用的滑坡数据的目标模态的模型本地化请求;
所述第三设备端,用于接收所述第二设备端返回的裁剪后模型或轻量化模型;对所述裁剪后模型或所述轻量化模型,采用与所述目标模态的本地化滑坡训练样本进行微调训练,得到本地化滑坡识别预测模型;接收对目标地理位置采集得到的目标模态的实际滑坡数据;调用预设的本地化滑坡识别预测模型处理所述实际滑坡数据,得到输出的滑坡识别结果;根据所述滑坡识别结果确定不同类型的滑坡的发生概率。
26.根据权利要求25所述的系统,其特征在于,所述第二设备端还用于:
在所述目标滑坡识别预测基座模型中,确定与所述目标模态关联度低于预设程度的目标模型参数和目标模型结构;
裁减掉所述目标滑坡识别预测基座模型中的目标模型参数和目标模型结构,得到所述裁剪后模型。
27.根据权利要求26所述的系统,其特征在于,所述第二设备端还用于:
响应于无法确定出与所述目标模态关联度低于所述预设程度的目标模型参数和所述目标模型结构,对所述目标滑坡识别预测基座模型进行轻量化处理。
28.根据权利要求27所述的系统,其特征在于,所述轻量化处理包括模型蒸馏处理。
29.根据权利要求25所述的系统,其特征在于,所述系统还包括:
多个第四设备端,所述第四设备端用于:接收并呈现所述第三设备端根据不同类型的滑坡的发生概率生成的不同预警信息。
30.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,所述计算机指令用于使所述计算机执行权利要求1-6中任一项所述的单模态滑坡识别预测模型的训练方法和/或权利要求7-18任一项所述的滑坡识别预测基座模型的训练方法和/或权利要求19所述的滑坡识别预测模型的本地化方法和/或权利要求20-21任一项所述的滑坡识别预测方法。
31.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现根据权利要求1-6中任一项所述的单模态滑坡识别预测模型的训练方法的步骤和/或权利要求7-18任一项所述的滑坡识别预测基座模型的训练方法的步骤和/或权利要求19所述的滑坡识别预测模型的本地化方法的步骤和/或权利要求20-21任一项所述的滑坡识别预测方法的步骤。