1.一种基于知识蒸馏的跨模态图像旋转目标识别方法,其特征在于,包括:S101,构建和训练以红外模态图像与可见光模态图像作为输入的教师网络模型,所述教师网络模型包括多模态主干网、多尺度聚合层以及教师网络检测头,在训练完毕后冻结教师网络模型的网络参数;构建以可见光模态图像/红外模态图像作为输入的学生网络模型,所述学生网络模型包括单模态主干网、多尺度聚合层和学生网络检测头;
S102,利用可见光模态图像的样本训练学生网络模型,同时将可见光模态图像及其对应的红外模态图像的样本输入教师网络模型,利用教师网络模型中的多模态主干网、多尺度聚合层中提取的特征进行知识蒸馏并计算特征和关系蒸馏损失来训练优化学生网络模型的网络参数,直至完成对学生网络模型的训练以用于对输入的可见光模态图像进行旋转目标识别;
步骤S102中利用教师网络模型中的多模态主干网、多尺度聚合层中提取的特征进行知识蒸馏并计算特征和关系蒸馏损失时,包括利用通道蒸馏损失和空间蒸馏损失之和构成的损失函数来优化学生网络模型的单模态主干网的网络参数,所述通道蒸馏损失的函数表达式为:,
所述空间蒸馏损失的函数表达式为:
,
其中,和分别为通道蒸馏损失和空间蒸馏损失,MSE和KL分别为均方差损失和Kullback-Leibler散度,和分别为教师网络模型和学生网络模型的通道蒸馏特征,所述通道蒸馏特征为将对应尺度的特征依次进行平均池化、归一化操作得到;和别为教师网络模型和学生网络模型的空间蒸馏特征,所述空间蒸馏特征为针对对应尺度的特征依次进行在通道维度进行求和操作、张量重塑得到的张量和归一化操作得到,其中为批处理的图像个数,为通道数,且在进行通道蒸馏特征和空间蒸馏特征之前,包括针对学生网络模型的特征通过卷积将其通道维度映射成与教师网络模型中各个融合模块输出各个尺度的特征一样的维度;
步骤S102中利用教师网络模型中的多模态主干网、多尺度聚合层中提取的特征进行知识蒸馏并计算特征和关系蒸馏损失时,包括利用余弦相似度损失构成的损失函数来优化学生网络模型的多尺度聚合层的网络参数,所述余弦相似度损失的函数表达式为:,
其中,为余弦相似度损失,为向量化展开操作,与分别为教师网络模型和学生网络模型的实例特征的Gram矩阵,且有:,
,
其中,为教师网络模型的融合特征向量,所述融合特征向量为对教师网络模型中各个融合模块输出各个尺度的特征提取实例级感兴趣区域特征得到的感兴趣区域特征图、并将感兴趣区域特征图沿空间维度进行展开得到;为学生网络模型的特征向量,该特征向量为对学生网络模型的单模态主干网输出各个尺度的特征提取实例级感兴趣区域特征得到的感兴趣区域特征图、并将感兴趣区域特征图沿空间维度进行展开得到;
所述提取实例级感兴趣区域特征为采用精确旋转感兴趣区域池化算子PRROI Pooling提取实例级感兴趣区域特征,包括:S201,将多尺度聚合层中提取的特征中的旋转感兴趣区域ROI划分为大小的方块微元,其中为预设的方块微元的边长;
S202,针对大小的分块中的每个分块进行局部坐标系遍历,依据每个方块微元的局部坐标计算该方块微元中四个角点的贡献度:,
上式中,为第i个角点的贡献度,i=1,2,3,4,和为每个方块微元的局部左上角点坐标和右上角点坐标,和为微元内部的连续坐标;
S203,根据下式将每个方块微元的四个角点的坐标转换至全局坐标系得到全局坐标:,
上式中,(为角点的全局坐标,为旋转感兴趣区域ROI的角度,为角点的局部坐标,为旋转感兴趣区域ROI的全局坐标中心点;
S204,根据下式计算每个方块微元的特征输出:
,
上式中,为该方块微元的特征输出,为方块微元四个角点的全局特征,表示该方块微元的每个角点的贡献度;并根据下式得到该方块微元的平均特征:,
上式中,为该方块微元的平均特征,为每个方块微元的面积;
S205,将方块微元的平均特征组合得到实例级感兴趣区域特征。
2. 根据权利要求1所述的基于知识蒸馏的跨模态图像旋转目标识别方法,其特征在于,步骤S102中训练优化学生网络模型的网络参数时,还包括采用精确旋转感兴趣区域池化算子PRROI Pooling的反向传播过程和坐标反向传播过程来使得提取的实例级感兴趣区域特更加准确,其中精确旋转感兴趣区域池化算子PRROI Pooling的反向传播过程包括:S301,将多尺度聚合层中提取的特征中的旋转感兴趣区域ROI划分为大小的方块微元,其中为预设的方块微元的边长;
S302,针对大小的分块中的每个分块进行局部坐标系遍历,依据每个方块微元的局部坐标计算该方块微元中四个角点的贡献度;
S303,根据下式将每个方块微元的四个角点的坐标转换至全局坐标系得到全局坐标:S304,将损失函数关于方块微元内特征的梯度与角点的贡献度相乘后反向传播至方块微元的全局坐标;
其中精确旋转感兴趣区域池化算子PRROI Pooling的坐标反向传播过程包括:S401,将多尺度聚合层中提取的特征中的旋转感兴趣区域ROI划分为大小的方块微元,其中为预设的方块微元的边长;
S402,根据下式遍历方块微元的Y轴方向和X轴方向计算偏导数:,
,
,
,
上式中,表示在特征图上对方块微元内的特征进行池化,和为方块微元的局部左上角点坐标和右上角点坐标,提取某个坐标处提取微元特征,表示双线性插值操作,且对任意连续局部坐标处特征进行双线性插值操作的表达式为:,
,
上式中,为连续局部坐标处特征进行双线性插值操作的结果,表示在连续局部坐标处附近的离散坐标上计算的插值系数,为取最大值操作,为在连续局部坐标附近离散坐标点的特征响应值;
S403,根据下式计算旋转感兴趣区域ROI的各个坐标分量的梯度贡献度:,
,
,
,
,
上式中,为方块微元的坐标,分别为旋转感兴趣区域ROI的各个坐标分量的梯度贡献度,和分别代表池化后的特征尺寸;根据旋转感兴趣区域ROI的各个坐标分量的梯度贡献度分别对旋转感兴趣区域ROI的坐标分量中心点、尺寸和角度进行梯度回传,其中为旋转感兴趣区域ROI的坐标分量中心点,为旋转感兴趣区域ROI的宽度和高度,为旋转感兴趣区域ROI的角度。
3.根据权利要求1所述的基于知识蒸馏的跨模态图像旋转目标识别方法,其特征在于,所述多模态主干网包括用于对红外模态图像进行多尺度特征提取的红外主干网,用于对可见光模态图像进行多尺度特征提取的可见光主干网,以及分别用于将红外主干网、可见光主干网提取的相同尺度的特征进行融合的融合模块,所述融合模块将红外主干网、可见光主干网提取的相同尺度的特征进行融合包括:将红外主干网和可见光主干网提取的对应尺度的特征进行元素级相加;然后依次经过全局池化、全连接FC、sigmoid激活函数激活、与元素级相加得到的融合特征相乘、通过注意力操作提取注意力特征图、通过卷积和sigmoid激活函数激活得到注意力权重x;再将注意力权重x和元素级相加得到的融合特征相乘得到红外缺失特征,将1-x和元素级相加得到的融合特征相乘得到可见光缺失特征;最后将红外缺失特征、红外主干网提取的对应尺度的特征进行元素级相加,将可见光缺失特征、可见光主干网提取的对应尺度的特征进行元素级相加,再将两种相加得到的特征相加后再通过卷积和Relu激活函数激活得到输入第一多尺度聚合层的融合层。
4.根据权利要求3所述的基于知识蒸馏的跨模态图像旋转目标识别方法,其特征在于,所述教师网络检测头包括级联的两个全连接层以及位于两个全连接层后端的分类分支和定位分支,所述分类分支为大小的全连接层,其中为隐藏层参数,C为类别个数,所述定位分支为大小的全连接层,该全连接层包括5个定位参数;所述学生网络检测头包括分类分支和定位分支,分类分支包含4个卷积层,定位分支包括4个卷积层。
5.一种基于知识蒸馏的跨模态图像旋转目标识别系统,包括相互连接的微处理器和存储器,其特征在于,所述微处理器被编程或配置以执行权利要求1~4中任意一项所述基于知识蒸馏的跨模态图像旋转目标识别方法。
6.一种计算机可读存储介质,该计算机可读存储介质中存储有计算机程序/指令,其特征在于,该计算机程序/指令被编程或配置以通过处理器执行权利要求1~4中任意一项所述基于知识蒸馏的跨模态图像旋转目标识别方法。
7.一种计算机程序产品,包括计算机程序/指令,其特征在于,该计算机程序/指令被编程或配置以通过处理器执行权利要求1~4中任意一项所述基于知识蒸馏的跨模态图像旋转目标识别方法。