1.一种基于变分自注意力强化学习的遥感图像内容描述方法,其特征在于:该方法包括如下步骤:步骤一,融合变分自编码器和卷积神经网络,构建遥感图像内容描述编码器;构建遥感图像分类数据集,并使用该数据集预训练遥感图像内容描述编码器;
1‑1,使用在ImageNet上预训练的卷积神经网络作为内容描述编码器的骨架网络;构建遥感图像分类数据集,包含遥感图像和对应的类别;根据构建的数据集的类别数目,修改卷积神经网络的全连接层,使其输出的维度适应遥感图像分类数据集的类别数目;
1‑2,获得卷积神经网络的自适应池化层输出,在自适应池化层之后对称于自适应池化层之前的网络层结构添加变分自编码器;
1‑3,使用遥感图像分类数据集预训练融合变分自编码器的卷积神经网络,得到训练后的卷积神经网络;
1‑4,使用训练好的卷积神经网络获得遥感图像的语义特征和空间特征,在空间特征上执行自注意力机制,使空间特征融合上下文信息,将语义特征和融合上下文信息的空间特征输入到解码器;
步骤二,构建遥感图像内容描述解码器,输入遥感图像内容描述编码器编码得到的特征至解码器,融合解码器解码的特征,输出遥感图像内容描述文本;
2‑1,使用Transformer作为遥感图像内容描述解码器,Transformer子模块的数量可以任意指定;
2‑2,调整Transformer的网络结构,添加Dropout,缓解在遥感图像内容描述数据集规模达不到预期的情况下的过拟合问题;添加残差连接,缓解深度神经网络的梯度消失问题并且加速模型的收敛;
2‑3,在Transformer输出的文本特征上做自适应的特征融合;
2‑4,使用Transformer解码融合之后的文本特征,采用交叉熵损失函数,训练Transformer,输出原始的遥感图像内容的文本描述;
步骤三,使用基于强化学习的自评判序列训练作为解码器参数更新策略,使用选定的语言质量评价指标作为奖励,提升文本描述质量,得到优化的遥感图像内容描述网络;
步骤四,使用优化后的遥感图像内容描述网络,输出遥感图像内容描述文本。
2.根据权利要求1所述的基于变分自注意力强化学习的遥感图像内容描述方法,其特征在于:所述步骤1‑1,具体包括:删除骨架卷积神经网络结构中适应于ImageNet分类标准的全连接层;添加适应于已构建的遥感图像分类数据集分类标准的全连接层和柔性最大值层。
3.根据权利要求1所述的基于变分自注意力强化学习的遥感图像内容描述方法,其特征在于:所述步骤1‑2,变分自编码器网络包含反卷积层、堆正则化、激活函数,其架构为卷积神经网络自适应池化层之前全部网络层的镜像架构。
4.根据权利要求1所述的基于变分自注意力强化学习的遥感图像内容描述方法,其特征在于:所述步骤1‑3,具体包括如下:
1‑3‑1,将构建好的遥感图像分类数据集以一定的比例分割为训练集和验证集;将训练集作为融合变分自编码器的卷积神经网络的输入,网络的输出包含当前输入遥感图像的分类类别和变分自编码器对当前输入遥感图像进行还原的图像;
1‑3‑2,使用交叉熵损失、均方误差和KL散度的加和作为损失函数,均方误差和KL散度的系数作为超参数;交叉熵损失描述预测标签和真实标签的误差,均方误差描述变分自编码器还原的遥感图像和输入遥感图像的误差,KL散度描述变分自编码器中间特征概率分布和输入遥感图像特征概率分布的误差;
1‑3‑3,使用亚当优化器优化融合变分自编码器的卷积神经网络的参数,得到训练后的卷积神经网络。
5.根据权利要求4所述的基于变分自注意力强化学习的遥感图像内容描述方法,其特征在于:所述步骤1‑3‑3,网络的训练策略如下:每在训练集上训练一个周期,在验证集上计算当前网络的遥感图像分类精度和分类损失;分类精度为当前网络在验证集上进行遥感图像分类的准确率,分类损失为当前网络在验证集上的损失函数的数值;
在分类损失停止下降的周期超过预先设定的阈值时,降低亚当优化器的学习率,继续训练;在分类精度停止上升的周期超过预先设定的阈值时,停止训练,并保存融合变分自编码器的卷积神经网络的参数。
6.根据权利要求1所述的基于变分自注意力强化学习的遥感图像内容描述方法,其特征在于:所述步骤1‑4,具体包括如下:
1‑4‑1,构建遥感图像内容描述数据集,包含遥感图像和对应的遥感图像内容描述;
1‑4‑2,利用步骤1‑3得到的融合变分自编码器的卷积神经网络,加载网络参数,删除网络的变分自编码器部分,只保留卷积神经网络部分;
1‑4‑3,使用遥感图像内容描述数据集中的遥感图像作为输入,使用卷积神经网络中不包含最后一层的任意一层全连接层作为输入遥感图像的语义特征,使用卷积神经网络的自适应池化层作为输入遥感图像的空间特征;
1‑4‑4,在步骤1‑4‑3获得的遥感图像的空间特征上执行自注意力机制,使空间特征中的每一个子空间融合其余子空间的特征信息,获得融合上下文信息的空间特征表示;
1‑4‑5,将语义特征和融合了上下文信息的空间特征输入至解码器。
7.根据权利要求1‑6任一所述的基于变分自注意力强化学习的遥感图像内容描述方法,其特征在于:所述步骤2‑2,具体为:在Transformer的子模块的每一层之后添加Dropout;在Transformer的相邻的子模块之间添加残差连接;
所述步骤2‑3,具体为:获得Transformer的每一个子模块的输出;在Transfomer中的每一个子模块的输出之前设定权重,限制所有子模块的权重之和为1,将此权重作为Transfomer的训练参数;使用训练结束得到的权重计算Transformer全部子模块输出的加权线性输出,作为最终输出的文本特征。
8.根据权利要求1‑6任一所述的基于变分自注意力强化学习的遥感图像内容描述方法,其特征在于:所述步骤三,具体包括如下:
3‑1,删除步骤2‑4所述交叉熵损失函数,使用基于强化学习的自评判序列训练作为新的解码器参数更新策略,强化学习的奖励值为自评判序列训练输出的遥感图像内容描述的文本质量评价指标;
3‑2,自评判序列训练的更新策略为最小化负期望奖励值,负期望奖励值表示如下:s
其中θ为调整网络结构之后的Transformer的训练参数,W 为当前生成文本,s和pθ表示对于当前生成文本中的每一个单词,以概率pθ在词表中随机采样,r(*)为当前生成文本的CIDEr评价标准;
3‑3,输出自评判序列训练优化后的遥感图像内容描述。