1.一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:该方法包括以下步骤:S1:数据获取,获取资源三号ZY-3遥感影像,数字高程模型DEM以及建筑高度矢量数据;
S2:数据预处理和数据划分,包括将获取的ZY-3数据进行预处理,并利用处理后的ZY-3影像生成MABI多视角建筑指数,将获取的DEM数据进行重采样,以及将建筑矢量数据进行栅格转化,并利用分布均匀的实地采样标签对建筑矢量数据进行准确性验证;最后,将经过预处理的ZY-3数据以及经过重采样的DEM数据分为任务1和任务2;
S3:建筑高度反演,将所述S2中的任务1、任务2以及建筑矢量栅格输入多尺度深度监督网络M-DSNN架构进行建筑高度反演;
所述M-DSNN架构包括:2+3结构,即2编码器-3解码器架构、特征融合模块和动态共享模块,特征融合模块和动态共享模块均处于编码器和解码器之间,其中特征融合模块是为解决来自多光谱以及多视角分支生成特征融合问题,动态共享模块是为解决两个解码器共享多光谱分支生成特征的问题;
在所述编码器架构中,编码器采用深度可分离残差卷积来构建,多分支向下采样K-Dumping,即结合左分支SoftPool向下采样操作,右分支膨胀卷积加MaxPool向下采样操作来捕获更丰富的特征信息,合并左右分支的输出来增强特征的表示能力,并且在特定的特征块中引入动态傅里叶变换去噪模块来减少特征提取过程中的噪声;
所述特征融合模块将多视角输入和多光谱输入的特征进行动态融合,首先经过特征映射、分离、融合和动态选择得到初始融合特征,对多光谱特征进行通道/空间注意力操作,并与初始融合特征进行concat连接和卷积操作,得到最终融合后的特征;
所述动态共享模块通过联合多光谱输入特征和通道空间注意力结果,经过concat和卷积操作得到融合特征,并利用torch类型转换函数Parameter()生成的可训练参数和Softmax操作动态调整权重a和b,实现融合特征的高效共享和输出;
所述解码器架构中,将处理好的特征分别经过三个解码器的反卷积和卷积组合求得三个结果,并concat连接合并输出建筑高度估计最终结果result;
S4:损失函数和网络设置,损失Loss函数采用加权损失函数,模型运行中批处理大小batch_size设为8,迭代次数为300次,采用Adam优化器以及动态学习率,并且在训练集中采用随机翻转、线性拉伸的数据增强策略;
S5:建筑高度制图,对测试区重庆、北京以及广州三个城市的建筑高度进行提取和制图。
2.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S1中,获取ZY-3遥感影像,包括:正视、前视、后视全色影像以及多光谱影像,以及免费公开的30mDEM数据和高德地图建筑矢量数据。
3.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S2中,ZY-3高分遥感影像预处理过程包括:正视、前视、后视全色影像以及多光谱影像的正射校正;前视、后视全色影像基于正视全色影像的图像配准和重采样;以及多光谱影像与正视全色影像的图像融合。
4.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S2中,利用处理后的ZY-3影像生成MABI多视角建筑指数,计算公式为:MABI=max{|X
其中,X
5.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S2中,将30m DEM数据通过ENVI图像配准进行重采样,调整其空间分辨率,使其与处理后的ZY-3影像保持一致,即2.5m。
6.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S3中,编码器采用深度可分离残差卷积来构建,多分支向下采样K-Dumping即结合左分支SoftPool向下采样操作,右分支膨胀卷积加MaxPool向下采样操作来捕获更丰富的特征信息,合并左右分支的输出来增强特征的表示能力,并且在特定的特征块中引入动态傅里叶变换去噪模块来减少特征提取过程中的噪声,具体为:编码器采用残差加深度可分离卷积的形式,将第一轮卷积块换成深度可分离卷积,深度可分离卷积即将标准卷积分为两个独立的步骤:深度卷积和逐点卷积;
多分支向下采样K-dumping模块,左分支先进行SoftPool池化操作,SoftPool池化采用了SoftMax算法,并进行两步操作,计算公式(2)~(3)所示:计算每个像素块的特征权重w
其中,a
将每一块的权重和其像素值相乘,并逐个相加:
M=∑
右分支首先采用三核膨胀卷积扩大特征的感受野,再利用MaxPool池化对膨胀结果进行向下采样,最后将两者结果进行一核卷积输出;
动态傅里叶变换去噪FFT-Denoise,在倒数第一和倒数第二的特征块加入动态傅里叶去噪FFT-Denoise模块,将其矩阵域转化为频域,利用高斯滤波器求出特征块每个维度的权重矩阵:σ为滤波核,将上式二维高斯函数求出的权重矩阵进行求和取平均值,过滤掉低频分量后逆转换为矩阵域输出。
7.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S3中,特征融合模块将多视角输入和多光谱输入的特征进行动态融合,首先经过特征映射、分离、融合和动态选择得到初始融合特征,然后,对多光谱特征进行通道/空间注意力操作,并与初始融合特征进行concat连接和卷积操作,得到最终融合后的特征:S31:特征映射模块通过合并多视角输入MV_Input∈R
S32:分离操作Devide:分别将S
其中,S(i,j)为每个通道的像素值;
S33:融合操作Fusion:将分离出来的整合特征信息S
S
其中,Relu为线性激活函数,BN为线性拉伸;
S34:动态选择Select:采用软注意机制对不同空间尺度的信息进行自适应选择,将自适应选择生成的两个特征W其中,e为求指数操作;
S35:计算出O
O
O
其中,MLP为多层感知机,MaxPool为最大池化,AvgPool为平均池化;
S36:将O
8.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S3中,所述动态共享模块通过联合多光谱输入特征和通道空间注意力结果,经过concat和卷积操作得到融合特征,并利用torch类型转换函数Parameter()生成的可训练参数和Softmax操作动态调整权重a和b,实现融合特征的高效共享和输出,具体为:动态共享模块将多光谱输入特征MS_Input和通道空间注意力结果Oa=Softmax(weight),b=Softmax(1-weight) (11)。
9.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S3中,所述解码器架构中,将处理好的特征分别经过三个解码器的反卷积和卷积组合求得三个结果,并concat连接合并输出最终结果result:解码器模块采用传统解码器方法,即反卷积+卷积结构,将融合特征Out经过解码器Decoder 1得到结果Building Height1,两个动态共享后的特征Out1和Out2分别经过解码器Decoder 2和Decoder 3分别得到结果Building Height2和Foot Print,最后将三者结果进行concat+卷积操作得到最终建筑高度结果Result。
10.根据权利要求1所述的一种基于资源三号遥感影像的建筑高度反演方法,其特征在于:所述S4中,Loss函数采用加权损失函数,模型运行中批处理大小为8,迭代为300次,采用Adam优化器以及动态学习率,并且在训练集中采用随机翻转、线性拉伸等数据增强策略;具体为:由于M-DSNN属于多任务网络模型,除了两个建筑高度提取任务和建筑高度总结果之外,还包括建筑足迹提取任务,因此,为了满足网络模型训练需要,引入多任务的加权损失函数;
首先,采用均方误差MSE作为建筑高度提取任务的损失函数:
其中
H
n为3,表示3个建筑高度提取任务,σ表示任务的不确定性;
另外,在网络训练中,卷积之间的通道变换为翻倍变化,变换域为32~512,迭代次数为300次,采用Adam优化器对网络中的参数进行优化,使用动态学习率,设置初始学习率为10所述S5中,建筑高度制图,具体为:将建筑高度反演结果进行制图,设置背景底色为黑色,建筑高度值变化范围由灰度值显示,亮度越暗,高度值越小,反之,高度值越高。