1.一种基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法,其特征在于,该方法包括以下步骤:S1、获取PolSAR图像中各像素的极化相干矩阵,利用不同极化方向角对应的极化旋转矩阵生成待分类像素的旋转域极化相干矩阵序列,作为3D卷积视觉Transformer的输入;其中,3D卷积视觉Transformer的结构依次为:输入 3D卷积块 3D卷积块 3D视觉Transformer块 3D池化层 3D视觉Transformer块 3D池化层 3D卷积块 输出;3D视觉Transformer块结构为:将特征映射通过两个卷积层 展开后学习全局表示 折叠 通过一个卷积层后与特征映射结合再次通过一个卷积层 得到输出特征映射;
在3D视觉Transformer中,展开和折叠操作被设计以适应4D张量;设 为
3D视觉Transformer中前两个3D卷积块的输出, 被看作是视觉Transformer中的分裂补丁,所以通过简单地合并H和W的维度来展开;
设 表示已展开的特征图,以及 ,然后将 输入到
Transformer中,学习全局表示 ;由于空间顺序不改变, 折叠得到;最后,将 与输入特征映射 连接,使用3D卷积块融合特
征,得到输出特征映射 ;
在一个3D视觉Transformer块中有4个3D卷积块,每个3D卷积块包含一个3D卷积层、一个3D‑BN层和一个SiLU层;每个3D视觉Transformer块都有一个Transformer层,3D视觉Transformer块使用卷积和Transformer来学习局部和全局表示;
S2、在3D卷积视觉Transformer中先使用两个3D卷积块来捕获极化相干矩阵的中级特征映射;
S3、将第二个3D卷积块的输出作为后续两个3D视觉Transformer块和两个3D池化层的输入,学习旋转域极化相干矩阵的高级特征表示;
S4、利用3D视觉Transformer学习输入特征图的局部和全局特征表示;
S6、利用所提出的3D卷积视觉Transformer输出的高级特征图进行分类,即将特征表示输入分类器进行PolSAR图像分类。
2.根据权利要求1所述的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法,其特征在于,步骤S1中,极化相干矩阵 包含PolSAR图像中目标的完全散射特性,如下所示:式中, 是极化相干矩阵 中的元素, ;
每个像素的偏振信息都用一个向量tP来定义:
将极化相干矩阵 乘以极化旋转矩阵 ,得到旋转域极化相干矩阵 :
其中,表示极化方向角POA,T表示转置,极化旋转矩阵 为:
则 中的元素 如下所示:
PolSAR图像中每个像素的旋转域极化数据定义为一个向量 :
式中, 和 分别表示 的实部和虚部。
3.根据权利要求1或2所述的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法,其特征在于,当对PolSAR图像中的一个像素进行分类时,将使用该像素的邻域窗数据作为输入;在旋转域中,再生成一系列具有不同极化方向角POA的邻域窗数据,最后输入至3D卷积视觉Transformer中;
设C表示通道数,也为每个像素的旋转域极化数据中的元素数,D表示不同极化方向角的数量,H和W表示邻域窗的高度和宽度,则输入数据的大小为 ,即旋转域极化相干矩阵序列的特征映射为4D的 张量,是一个具有不同极化方向角POA的序列。
4.根据权利要求3所述的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法,其特征在于,将极化方向角POA由0变为 ,步长为 ,从而生成9个旋转域极化相干矩阵。
5.根据权利要求1所述的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法,其特征在于,步骤S2中,3D卷积块和3D池化层学习图像序列的特征表示,用旋转域极化相干矩阵序列来描述PolSAR旋转域的极化信息;设输入张量是输入,输出张量是输出 ,则3D卷积操作输出张量的第j个特征图由下式进行计算:
其中,input表示输入,out表示输出, 是可学习的权重, 是可学习的偏差,p是变量参数, 是有效的3D互相关操作。
6.根据权利要求5所述的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法,其特征在于,使用的池化操作是3D最大池化,设3D最大池化的第 个特征映射为:其中, 、 和 表示池化核大小,d、h和w为数据坐标,步幅stride为窗的步幅,0、
1和2表示3个维度,i、m和n是变量参数;大小为 的内核滑过输入数据并计算输出值。
7.根据权利要求5或6所述的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法,其特征在于,3D卷积块包含三层,即3D卷积、3D批处理归一化BN和Sigmoid‑weighed加权线性单位SiLU激活层。
8.根据权利要求1所述的基于3D卷积视觉Transformer的极化SAR影像旋转域特征表达提取与分类方法,其特征在于,该方法还包括步骤:S5、利用3D视觉Transformer中的自注意力机制描述不同观察角度下极化相干矩阵之间的规律和差异性,提高极化合成孔径雷达图像的解译性能。