1.一种多尺度特征融合和对齐的域自适应云检测方法,其特征在于,包括以下步骤:
11)多尺度特征融合和对齐的域自适应云检测准备工作:对源域遥感卫星影像和目标域遥感卫星影像根据含云量分类,按一定比例挑选各个百分比的影像数据;对源域遥感卫星影像和目标域遥感卫星影像进行波段合并、裁剪等预处理;对源域遥感卫星影像标签进行归一化预处理;
12)构建与训练多尺度特征融合和对齐的域自适应云检测模型:构建多尺度特征融合和对齐的域自适应云检测模型,将预处理后的遥感影像以及标签输入多尺度特征融合和对齐的域自适应云检测模型中进行训练,得到训练好的多尺度特征融合和对齐的域自适应云检测模型;
13)对多尺度特征融合和对齐的域自适应云检测模型测试和求解:将未被大量标记的目标域遥感卫星影像输入到训练好的多尺度特征融合和对齐的域自适应云检测模型中进行模型测试并得到云检测预测分割结果。
2.根据权利要求1所述的一种多尺度特征融合和对齐的域自适应云检测方法,其特征在于,所述多尺度特征融合和对齐的域自适应云检测准备工作包括以下步骤:
21)将源域遥感卫星影像和目标域遥感卫星影像的B4、B3、B2波段合并预处理为RGB三通道影像;
22)将源域遥感卫星影像及标签和目标域遥感卫星影像进行不重叠裁剪,裁剪为321×
321的固定大小;
23)将源域遥感卫星影像标签像素值归一化:0、64、128为0,代表干净像素,192、256为
1,代表云像素,得到二值单通道标签影像;
24)将处理后的影像导出成.tif格式;
25)将处理后的影像按照含云量百分比平均挑选训练集影像,以保证正负样本平衡。
3.根据权利要求1所述的一种多尺度特征融合和对齐的域自适应云检测方法,其特征在于,所述构建与训练多尺度特征融合和对齐的域自适应云检测模型包括以下步骤:
31)其中构建多尺度特征融合和对齐的域自适应云检测模型的具体步骤如下:
311)构建用于提取抽象特征的编码器结构,其编码器结构包括一个普通3x3卷积层,一个批归一化层,一个RELU线性激活单元以及resnet34的前四层构成的四个下采样块;
312)构建用于产生融合的多尺度特征的多尺度融合模块;
其多尺度融合模块包括4个膨胀率不同的空洞卷积层和1个图像池化操作;
四个空洞率为1、6、12、18,产生具有不同接收野的特征;
一个图像池模块生成通道特征;
得到五个平行输出并通过一次拼接运算和一次1×1卷积得到多尺度特征;
313)构建用于从不同尺度的特征中恢复云掩膜的解码器结构,其解码器结构包括四个普通3x3卷积层,一个批归一化层,一个RELU线性激活单元构成的上采样块;
314)构建用于将不同尺度的浅层空间信息和深层语义信息结合起来的跳跃连接结构,其跳跃连接结构为拼接两个输入为一个输出;
315)构建用于减少对标签数据依赖的域自适应框架结构,其域自适应框架结构为输入来自两个不同卫星的云图但共享用于分割的云检测模型框架;
316)构建用于指导类相关特征选择的特征选择结构,其特征选择结构利用分割网络的预测得分图得到用于分组对齐的空间注意图;
317)构建用于缩小源和目标域之间的特征分布差距以获得域不变特征表示的分组特征对齐结构,其分组特征对齐结构将从网络的第k个隐层提取与云相关的特征映射分成一系列组,对源域和目标域的每个分组特征分别使用对抗学习策略;
318)首先将原始源域遥感卫星影像和目标域遥感卫星影像分别经过编码器结构,再将其经过一次多尺度特征融合结构,将多尺度特征融合结构的输出经过解码器结构,之后通过跳跃连接结构将编码器第四次下采样连接解码器第一次上采样,通过跳跃连接结构将第三次下采样连接第二次上采样,通过跳跃连接结构将第二次下采样连接第三次上采样,通过跳跃连接结构将第一次下采样连接第四次上采样,将跳跃连接拼接后的最后两层源域输出与目标域输出经过特征对齐模块,最后经过小尺寸普通卷积结构完成整个模型的搭建;
32)其中训练多尺度特征融合和对齐的域自适应云检测模型的具体步骤如下:
321)将预处理后的源域遥感卫星影像以及标签和目标域遥感卫星影像输入云检测模型中;
322)执行一次编码器结构得到四个下采样输出;
执行一个卷积核为3x3的普通卷积层,一个批归一化层,一个RELU线性激活单元以及resnet34的layer1得到第一个下采样输出;
对第一个下采样输出执行resnet34的layer2得到第二个下采样输出;
对第二个下采样输出执行resnet34的layer2得到第三个下采样输出;
对第三个下采样输出执行resnet34的layer2得到第四个下采样输出;
323)对第四个下采样输出执行一次多尺度特征融合层,其中多尺度特征融合层的输出如下;
第一条路径对编码器结构第四次下采样的输出执行一次扩张因子为1,卷积核为3x3的空洞卷积层,得到第一个输出;
第二条路径对编码器结构第四次下采样的输出执行一次扩张因子为6,卷积核为3x3的空洞卷积层,得到第二个输出;
第三条路径对编码器结构第四次下采样的输出执行一次扩张因子为12,卷积核为3x3的空洞卷积层,得到第三个输出;
第四条路径对编码器结构第四次下采样的输出执行一次扩张因子为18,卷积核为3x3的空洞卷积层,得到第四个输出;
第五条路径对编码器结构第四次下采样的输出执行一次全局平均池化和一次卷积核为1x1的普通卷积层,得到第五个输出;
324)将五条路径输出的结果进行拼接得到多尺度融合特征输出;
325)对多尺度融合特征输出执行一次卷积核大小为1x1的普通卷积层;
326)执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块,得到第一次上采样的输出;
327)将第一次上采样的输出通过跳跃连接结构与第四次下采样的输出进行拼接;
328)对第一次拼接得到的输出执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块,得到第二次上采样的输出;
329)将第二次上采样的输出通过跳跃连接结构与第三次下采样的输出进行拼接;
3210)对第二次拼接得到的输出执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块,得到第三次上采样的输出;
3211)将第三次上采样的输出通过跳跃连接结构与第二次下采样的输出进行拼接;
3212)对第三次拼接得到的输出执行三次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元的上采样块,得到第四次上采样的输出;
3213)将第四次上采样的输出通过跳跃连接结构与第一次下采样的输出进行拼接;
3214)对第四次拼接得到的输出执行四次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元、一次池化核大小为2x2的全局最大池化下采样的下采样块;
3215)执行四次包括一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元、一次恢复尺寸上采样的上采样块;
3216)执行一次卷积核大小为3x3的普通卷积层、一次批归一化层、一次RELU线性激活单元;
3217)将执行一次卷积核大小为3x3的普通卷积层的结果与跳跃连接模块第四次拼接得到的输出进行拼接;
3218)正向传播,得到最终的分割概率;
3219)执行一次特征选择结构,将源域和目标域第三次和第四次拼接得到的输出分别与最终的分割概率逐像素相乘,并在通道维度分割为4个子特征图;
3220)执行一次分组特征对齐结构,将两个域的各4个子特征图分组输入得到判别结果;
对源域的子特征图执行四次包括一次卷积核为4x4的普通卷积层、一次RELU线性激活单元、一次概率为0.5的dropout层的块;
执行一次池化核大小为1x1的自适应全局平均池化得到源域判别结果;
对目标域的子特征图执行四次包括一次卷积核为4x4的普通卷积层、一次RELU线性激活单元、一次概率为0.5的dropout层的块;
执行一次池化核大小为1x1的自适应全局平均池化得到目标域判别结果;
正向传播,分别得到源域和目标域的判别结果;
3221)使用二元交叉熵BCE损失作为分组特征对齐的对抗结构的损失函数对源域和目标域的判别结果进行计算得到对抗损失;
3222)使用MAE损失作为分组特征对齐结构的损失函数对源域和目标域的判别结果进行计算得到损失以最小化源域和目标域的距离;
3223)使用二元交叉熵BCE损失作为网络模型的损失函数对最终的分割概率进行计算得到分割损失;
3224)反向传播确定梯度向量,更新模型参数;
3225)判断是否达到设定的轮数,是则得到训练好的分割模型,否则返回(321)重新加载数据继续训练。
4.根据权利要求1所述的一种多尺度特征融合和对齐的域自适应云检测方法,其特征在于,所述对多尺度特征融合和对齐的域自适应云检测模型测试和求解包括以下步骤:
41)读取目标域遥感卫星影像,将其导出成.tif格式影像;
42)将目标域遥感卫星影像的B4、B3、B2波段合并预处理为RGB三通道影像;
43)将目标域遥感卫星影像进行不重叠裁剪,裁剪为321×321的固定大小;
44)将预处理后的影像输入到训练好的多尺度特征融合和对齐的域自适应云检测模型中进行云像素检测;
45)得到分割好的云掩膜图。