1.一种融合光学和SAR影像多模态信息的旋转目标检测方法，其特征在于，包括以下步骤：

11)融合光学和SAR影像多模态信息的旋转目标检测数据准备和特征提取：对获取的遥感影像数据集进行划分裁剪；构建基于编码器和解码器结构的transformer‑UNet网络对遥感数据进行特征提取；

12)建立多模态多尺度特征融合模块：构建一个多模态特征融合的框架，使用差分增强模块和公共选择模块提取多模态的差异特征和相同特征，融合成多模态特征图；

13)建立二阶段旋转预测头模块：构建一个二阶段预测头模块，在第一阶段分类与定位的基础上进行二次精调；

14)融合光学和SAR影像多模态信息的旋转目标检测网络模型训练与结果获取:利用划分好的训练集及其对应标签对所建立的网络模型进行训练并调整参数，直到训练达到预设的epoch,最后保留相应的参数与训练好的网络，对其他目标影像检测获取结果。

2.根据权利要求1所述的一种融合光学和SAR影像多模态信息的旋转目标检测方法，其特征在于，所述融合光学和SAR影像多模态信息的旋转目标检测数据准备和特征提取包括以下步骤：

21)将数据集按6:2:2比例划分为训练集、验证集和测试集，尺寸不重叠的统一裁剪大小为256*256；

22)构建并行的编码器和解码器结构transformer‑UNet，其中，网络A处理光学遥感图像，网络B处理SAR遥感图像；

221)构建DoubleConv双层卷积模块，该模块结构包含两个卷积层，两个个归一化层和，两个ReLU激活函数；每个卷积层结构为kernel size为3，padding为1，stride为1；

222)构建用于特征提取的下采样结构，其结构包括一个DoubleConv双层卷积模块，一个最大池化层；

223)构建用于连接上采样和下采样阶段的特征图的Bottleneck层，Bottleneck层结构包括两个kernel size为1，stride为1的卷积层，一个kernel size为3，stride为1的卷积层；

224)构建用于特征提取的上采样结构，其结构包括ConvLSTM层，一个卷积层；ConvLSTM单元包括输入门、遗忘门和输出门，kernel_size是(3,3)，strides是(2,2)；

23)其中融合光学和SAR影像多模态信息的旋转目标检测特征提取的具体步骤如下：

231)将预处理后的光学遥感图像，SAR遥感图像以及标签数据输入卷积神经网络中，训练一个有自注意力机制的下采样特征提取模型，具体步骤如下：

232)执行一次卷积核大小为1x1的普通卷积层，将光学遥感图像转换为光学图像提供OPT OPT序列中每个元素的信息V 、光学图像提供序列中每个元素的权重Q 、光学图像中用于计OPT算Q和K之间的相似度K 三通道特征；将SAR遥感图像转换为SAR图像提供序列中每个元素SAR SAR的信息V 、SAR图像提供序列中每个元素的权重Q 、SAR图像中用于计算Q和K之间的相似SAR度K 三通道特征；执行一次编码器结构，得到4个下采样输出；

对输入图片执行一个卷积核大小为3×3的普通卷积，一个实例归一化一个ReLu，一个stride为1的最大池化操作，得到第一个下采样输出；

对第一个下采样输出执行一次卷积核大小为3×3的普通卷积，一个实例归一化一个ReLu，一个stride为1的最大池化操作，得到第二个下采样输出；

对第二个下采样输出执行一次卷积核大小为3×3的普通卷积，一个实例归一化一个ReLu，一个stride为1的最大池化操作，得到第三个下采样输出；

对第三个下采样输出执行一次卷积核大小为3×3的普通卷积，一个实例归一化一个ReLu，一个stride为1的最大池化操作，得到第四个下采样输出；

233)在第一个下采样输出，第二个下采样输出，第三个下采样输出之后执行自注意机制模块以及互相关模块，具体步骤如下：OPT OPT OPT

执行一次卷积核大小为1x1的卷积，将光学遥感图像转换为V 、Q 、K 三通道特征矩SAR SAR SAR阵；将SAR遥感图像转换为V 、Q 、K 三通道特征矩阵；

OPT OPT OPT

将Q 转置与K 点积相乘，结果进行softmax，与V 点积相乘后与原始特征图进行加权求和，得到光学影像自注意力机制特征图；SAR影像自注意力机制特征图过程同上；

自注意力机制特征图提取支持特征图像和查询特征图像，对图像进行reshape，利用余弦距离生成二者之间的联系，通过全局平均池化以及一个包含2个卷积层，一个RELU层的非线性网络，得到对应权重，经过点积相乘，归一化之后，得到特征的相互关系；SAR遥感影像互相关模块与光学遥感影像互相关模块相同；

24)构建用于连接上采样和下采样阶段的特征图的Bottleneck层，Bottleneck层由三个卷积层组成：第一个卷积层的卷积核大小为1x1，用于降维，将输入的通道数降低，减少模型参数数量；

第二个卷积层的卷积核大小为3x3，用于卷积特征图，进行特征提取；

第三个卷积层的卷积核大小为1x1，用于升维，将卷积后的特征图的通道数增加，增加模型的表达能力；

25)构建上采样convLSTM，具体步骤如下：

对第四个下采样输出进行反卷积操作(又称转置卷积)，使其上采样为原始图像的1/8大小(对于4倍下采样的情况，即4倍上采样)，得到上采样输出1；

对上采样输出1和第三个下采样输出进行拼接操作，得到合并输出1；

对合并输出1执行一次卷积核大小为3×3的普通卷积，一个实例归一化一个LeakyReLu，得到卷积输出1；

对卷积输出1进行ConvLSTM操作，得到LSTM输出1；

对LSTM输出1进行一次卷积核大小为3×3的普通卷积，一个实例归一化一个LeakyReLu，得到卷积输出2；

对卷积输出2进行反卷积操作，使其上采样为原始图像的1/4大小(对于4倍下采样的情况，即2倍上采样)，得到上采样输出2；

对上采样输出2和第二个下采样输出进行拼接操作，得到合并输出2；

对合并输出2执行一次卷积核大小为3×3的普通卷积，一个实例归一化一个LeakyReLu，得到卷积输出3；

对卷积输出3进行ConvLSTM操作，得到LSTM输出2；

对LSTM输出2进行一次卷积核大小为3×3的普通卷积，一个实例归一化一个LeakyReLu，得到卷积输出4；

对卷积输出4进行反卷积操作，使其上采样为原始图像的1/2大小(对于4倍下采样的情况，即2倍上采样)，得到上采样输出3；

对上采样输出3和第一个下采样输出进行拼接操作，得到合并输出3；

对合并输出3执行一次卷积核大小为3×3的普通卷积，一个实例归一化一个LeakyReLu，得到卷积输出5；

对卷积输出5进行ConvLSTM操作，得到LSTM输出3；

对LSTM输出3进行一次卷积核大小为3×3的普通卷积，一个实例归一化一个LeakyReLu，得到最终的上采样输出。

3.根据权利要求1所述的一种融合光学和SAR影像多模态信息的旋转目标检测方法，其特征在于，所述融合光学和SAR影像多模态信息的旋转目标检测多模态特征融合模块包括以下步骤：

31)构建用于光学遥感图像和SAR遥感图像多模态特征融合框架，该框架包括差分增强模块和公共选择模块；

311)差分增强模块具体步骤如下：

对提取的光学图像特征和SAR图像特征进行差值运算，得到差异部分的特征图；

通过沙漏型1*1卷积，计算注意力权重，得到分别的注意力图；

将得到的注意力图，通过残差的方式加到原本的特征图上，得到加强的特征图；

将光学遥感图像和SAR遥感图像的加强特征图进行加权求和，得到差分增强特征图；

312)公共选择模块具体步骤如下：

对提取的光学图像特征和SAR图像特征进行相加运算，得到公共部分的特征图；

将得到的公共部分的特征图，通过softmax的方式得到光学遥感图像的注意力图和SAR遥感图像的注意力图；

分别将光学遥感图像的注意力图和SAR遥感图像的注意力图和他们的输入特征图相乘，得到各自新的特征图；

将光学遥感图像和SAR遥感图像的新特征图进行加权求和，得到公共模块特征图。

4.根据权利要求1所述的一种融合光学和SAR影像多模态信息的旋转目标检测方法，其特征在于，所述建立二阶段旋转预测头模块包括以下步骤：

41)构建特征金字塔结果来实现特征拼接，给head作为输入，具体步骤如下：

411)输入4个不同尺寸的特征图，将最高层的特征图经过一个C3+conv得到一组与下一层特征图同样大小的特征图，将其和下一层的特征图拼接在一起，再经过一个C3+conv得到一组新的特征图，重复这一过程直到到达最底层；

412)对于最底层的特征图，将其输出到各个head，同时将其和上一层输出的信息拼接在一起，经过一个C3+conv作为新的输出，同时作为下一层的输入，与上一层经过一个C3+conv输出的信息再次进行拼接，经过一个C3+conv作为新的输出，重复这一过程直到到达最高层；

42)构建遥感目标检测旋转预测头，通过两阶段来实现目标定位，具体步骤如下：

421)第一阶段ARM模块使用ATSS策略来调整水平锚点为高质量的旋转锚点，步骤如下：对于输入的特征图像，提取出所有水平的锚点，并将这些锚点视为第一阶段的候选样本；

计算每个候选样本和所有真实目标(ground‑truth)之间的中心点距离和目标大小之间的比例，根据这两个因素的综合考虑，将所有候选样本分为正样本和负样本两类；

对于正样本，以其对应的真实目标为中心，生成一组高质量的旋转锚点作为第一阶段的正样本；

422)经过第一阶段的调整后，ARM得到了一组旋转锚点作为第二阶段的候选样本，这些候选样本会被输入目标检测网络进行分类和回归，并根据其预测结果和真实目标的IoU进行筛选，最终选择IoU最大的样本作为正样本进行调整，具体步骤如下：将第一阶段得到的旋转锚点输入目标检测网络，得到检测结果；

根据检测结果计算每个旋转锚点与其对应的真实目标的IoU值，并选择IoU值最大的正样本作为第二阶段的正样本；

将第二阶段得到的正样本作为输入的正样本，然后再次通过目标检测网络进行分类和回归，以进一步提高检测的准确率。

5.根据权利要求1所述的一种融合光学和SAR影像多模态信息的旋转目标检测方法，其特征在于，所述网络模型训练与结果获取步骤如下：

51)将预处理后的遥感影像数据输入融合光学和SAR影像多模态信息的旋转目标检测网络中；

OPT OPT OPT

52)执行一次卷积核大小为1x1的普通卷积层，将光学遥感图像转换为V 、Q 、K 三SAR SAR SAR通道特征；将SAR遥感图像转换为V 、Q 、K 三通道特征执行一次编码器结构，得到4个下采样输出；

对输入图片执行一个卷积核大小为3×3的普通卷积，一个实例归一化一个ReLu，一个stride为1的最大池化操作，得到第一个下采样输出；

对第一个下采样输出执行一次卷积核大小为3×3的普通卷积，一个实例归一化一个ReLu，一个stride为1的最大池化操作，得到第二个下采样输出；

对第二个下采样输出执行一次卷积核大小为3×3的普通卷积，一个实例归一化一个ReLu，一个stride为1的最大池化操作，得到第三个下采样输出；

对第三个下采样输出执行一次卷积核大小为3×3的普通卷积，一个实例归一化一个ReLu，一个stride为1的最大池化操作，得到第四个下采样输出；

53)在第一个下采样输出，第二个下采样输出，第三个下采样输出之后执行自注意机制模块以及互相关模块；

54)对第四个下采样输出进行反卷积操作，使其上采样为原始图像的1/8大小(对于4倍下采样的情况，即4倍上采样)，得到上采样输出1；

对上采样输出1和第三个下采样输出进行拼接操作，得到合并输出1；

对合并输出1执行一次卷积核大小为3×3的普通卷积，一个实例归一化一个LeakyReLu，得到卷积输出1；

对卷积输出1进行ConvLSTM操作，得到LSTM输出1；

对LSTM输出1进行一次卷积核大小为3×3的普通卷积，一个实例归一化一个LeakyReLu，得到卷积输出2；

对卷积输出2进行反卷积操作，使其上采样为原始图像的1/4大小(对于4倍下采样的情况，即2倍上采样)，得到上采样输出2；

对上采样输出2和第二个下采样输出进行拼接操作，得到合并输出2；

对合并输出2执行一次卷积核大小为3×3的普通卷积，一个实例归一化一个LeakyReLu，得到卷积输出3；

对卷积输出3进行ConvLSTM操作，得到LSTM输出2；

对LSTM输出2进行一次卷积核大小为3×3的普通卷积，一个实例归一化一个LeakyReLu，得到卷积输出4；

对卷积输出4进行反卷积操作，使其上采样为原始图像的1/2大小(对于4倍下采样的情况，即2倍上采样)，得到上采样输出3；

对上采样输出3和第一个下采样输出进行拼接操作，得到合并输出3；

对合并输出3执行一次卷积核大小为3×3的普通卷积，一个实例归一化一个LeakyReLu，得到卷积输出5；

对卷积输出5进行ConvLSTM操作，得到LSTM输出3；

对LSTM输出3进行一次卷积核大小为3×3的普通卷积，一个实例归一化一个LeakyReLu，得到最终的上采样输出；

55)将两种模态提取出来的多模态多尺度特征图输入跨模态特征融合模块；

56)差分增强模块通过差值运算得到光学图像和SAR图像的差异部分特征图，并通过注意力权重加强原特征图得到增强的特征图，进行加权求和得到差分增强特征图；

57)公共选择模块通过相加运算得到光学图像和SAR图像的公共部分特征图，再通过softmax得到注意力图，将注意力图相乘到原特征图上得到新特征图；

58)差分增强特征图和公共选择特征图进行加权求和得到跨模态特征图；

59)将4个不同尺寸的特征图进行特征拼接：最高层的特征图经过一个C3+conv得到一组与下一层特征图同样大小的特征图，将其和下一层的特征图拼接在一起，再经过一个C3+conv得到一组新的特征图，重复这一过程直到到达最底层；

510)对于最底层的特征图，将其输出到各个head，同时将其和上一层输出的信息拼接在一起，经过一个C3+conv作为新的输出，同时作为下一层的输入，与上一层经过一个C3+conv输出的信息再次进行拼接，经过一个C3+conv作为新的输出，重复这一过程直到到达最高层；

511)将特征图输入预测头，第一阶段ARM模块使用ATSS策略来调整水平锚点为高质量的旋转锚点；

512)经过第一阶段的调整后，ARM得到了一组旋转锚点作为第二阶段的候选样本，输入目标检测网络进行分类和回归，并根据其预测结果和真实目标的IoU进行筛选，选择IoU最大的样本作为正样本进行调整；

513)计算损失函数，对权重参数进行反向传播；

514)判断是否达到设定的轮数，是则得到训练好的分割模型，否则返回52)步重新加载数据继续训练；

515)利用得到的训练好的融合光学和SAR影像多模态信息的旋转目标检测网络，将预处理过的测试数据集输入加载好的模型进行预测，通过可视化将目标预测框和目标类别标在原图上。