欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023105213215
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向遥感目标检测的混合知识解耦的知识蒸馏算法,其特征在于,包括以下步骤:S1、构建遥感目标检测模型作为用于知识蒸馏的教师模型;

S2、对步骤S1中的模型进行轻量化处理,形成用于知识蒸馏的学生模型;

S3、步骤S2中的学生模型对边界框信息进行预测并计算目标检测损失;

S4、教师模型引导学生模型解耦不同类型的知识;即在真实标注数据的指导下,根据教师模型的输出生成用于知识迁移的语义感知掩码和定位感知掩码;

S5、在步骤S4的定位感知掩码引导下,从输出层次上蒸馏语义知识,计算输出层蒸馏的损失函数值;

S6、在步骤S4的语义感知掩码和定位感知掩码引导下,交叉蒸馏不同层次的语义特征和定位特征,计算交叉特征蒸馏的损失函数值;即自适应地融合不同层次教师与学生之间的特征蒸馏过程,以发挥浅层教师特征对深层学生特征的指导作用;

S7、计算总损失函数值,优化学生模型。

2.根据权利要求1所述的面向遥感目标检测的混合知识解耦的知识蒸馏算法,其特征在于:步骤S2中采用剪枝技术对遥感目标检测模型进行轻量化处理;利用学生模型中BN层的权重判断通道的重要性,并根据通道重要性对学生模型主干网络中的所有模块进行通道剪枝。

3.根据权利要求2所述的面向遥感目标检测的混合知识解耦的知识蒸馏算法,其特征在于,轻量化处理的步骤具体包括:S21、构造学生模型对应的主干网络,加载模型参数;

S22、遍历学生主干网络中所有的BN层,记录其对应的权重和通道数;根据人为设置的剪枝率θ,将剪枝后的通道数变成原始的θ倍,并记录剪枝后的通道数;

S23、遍历所有BN层,对其权重进行降序排序;根据剪枝后的通道数,筛选出想要保留的、重要的权重,生成每个BN层所对应的剪枝掩码;

S24、遍历学生主干网络中的所有模块,根据剪枝掩码的指示,对卷积层、线性层、BN层对应的权重在某一维度上进行筛选,丢弃不想要的权重;

S25、根据剪枝后的通道数,构造轻量级的主干网络;将剪枝后的权重保存到该网络中,并生成学生模型文件以用于学生模型的初始化。

4.根据权利要求1所述的面向遥感目标检测的混合知识解耦的知识蒸馏算法,其特征在于,步骤S3具体包括以下步骤:S31、对输入图像进行预处理,包括统一图像大小和归一化,最终转换成张量形式;

S32、初始化学生模型,加载剪枝后的轻量级网络作为初始的主干网络;

S33、图像张量输入到学生模型中,学生模型中的主干网络和颈部网络由浅到深地提取图像特征,得到不同粒度的图像特征 具体运算过程如公式(1):

其中,(S1,S2,…,Sn)表示学生特征提取网络的n个阶段,n表示不同粒度特征的数量,表示函数嵌套,X表示图像张量;

stu

S34、多粒度的学生特征F 通过学生模型中的检测头预测边界框信息,得到类别预测分数 与回归预测值 具体运算公式(2)和公式(3):

其中,Scls和Sreg分别代表学生模型中的类别预测层和回归预测层;

S35、根据真实框标签Y和学生检测头生成的回归目标Δ,分别计算分类损失函数值和回归损失函数值,具体运算如公式(4)和公式(5):其中, 表示分类损失函数, 表示回归损失函数。

5.根据权利要求1所述的面向遥感目标检测的混合知识解耦的知识蒸馏算法,其特征在于,步骤S4生成语义感知掩码和定位感知掩码的具体包括以下步骤:S41、加载预训练好的教师模型,并设置教师模型所有参数的梯度不回传;

S42、教师模型的主干网络和颈部网络由浅到深地提取图像特征,得到不同粒度的教师图像特征 具体运算如公式(6):其中,(T1,T2,…,Tn)表示教师特征提取网络的n个阶段;

tea

S43、多粒度的教师图像特征F 通过教师模型中的检测头预测边界框信息,得到类别预测分数 与回归预测值具体运算如公式(7)和公式(8):

其中,Tcls和Treg分别代表教师模型中的类别预测层和回归预测层;

S44、利用教师模型预测的边界框信息,挖掘语义知识和定位知识之间的边界,生成语义感知掩码 和定位感知掩码以捕获蒸馏区域对语义知识、定位知识

的敏感度。

6.根据权利要求5所述的面向遥感目标检测的混合知识解耦的知识蒸馏算法,其特征在于,所述步骤S44具体包括以下步骤:S441、就教师图像特征 中每个元素而言,计算所有类别预测分数中的最大值,将其作为语义感知掩码 具体运算如公式(9):其中,K为总类别数,(c1,…,ci,…,cK)表示所有目标类别;

S442、就教师特征图 中每个元素而言,根据回归预测值 将锚框A编码成对应的预测回归框 然后计算预测回归框与真实框GT之间的IoU,并将其作为定位感知掩码 具体运算如公式(10)和公式(11):其中,M表示所有预测框的数目,decode为预测框编码函数。

7.根据权利要求1所述的面向遥感目标检测的混合知识解耦的知识蒸馏算法,其特征在于,在语义感知掩码 的引导下,步骤S5中输出层蒸馏损失函数值的计算如公式(12):其中,Hk、Wk表示k层特征图的尺寸, 表示k层教师特征图(i,j)位置上的概率向量, 表示k层学生特征图(i,j)位置上的概率向量, 表示Logit蒸馏损失函数,用于衡量学生预测和软标签之间的相近程度,T为平滑因子, 为k层语义感知掩码(i,j)的元素值, 为k层语义感知掩码所有元素值之和。

8.根据权利要求1所述的面向遥感目标检测的混合知识解耦的知识蒸馏算法,其特征在于,步骤S6中交叉特征蒸馏过程包括以下步骤:stu

S61、按照感受野大小,将不同粒度的学生特征F 进行降序排序得到 并依次序迭代融合、更新;

具体地,首先,初始化融合特征,对 特征变换得到 其次进行特征融合;在t次迭代时,由于前驱融合特征 的尺寸和当前特征 不一致,因此先利用插值方法对齐两个特征,再通过加权求和得到t次迭代的融合特征 n‑1次迭代后,颠倒特征顺序,最终得到多层融合特征 具体运算如公式(13)和公式(14)所示:

其中,φ为特征变换层, 和 为t次迭代的融合权重, 为插值函数;

se lo

S62、引入语义感知掩码mask 和定位感知掩码mask ,分别针对特征图上语义知识和定stu位知识进行特征蒸馏,此外,蒸馏过程中所用的学生特征为融合特征H ,损失函数具体如公式(15)、公式(16)和公式(17)所示:其中, 为k层语义感知掩码(i,j)元素的值, 为k层定位感知掩码(i,j)元素的值, 为k层语义感知掩码的元素值之和, 为k层定位感知掩码的元素值se lo之和, 为传统的特征蒸馏损失函数,W 和W 分别表示语义特征蒸馏和定位特征蒸馏损失对应的系数。

9.根据权利要求1所述的面向遥感目标检测的混合知识解耦的知识蒸馏算法,其特征在于:步骤S7中,总损失函数值包括遥感目标检测任务的分类损失、回归损失、交叉特征蒸馏损失以及输出层蒸馏损失。

10.根据权利要求1所述的面向遥感目标检测的混合知识解耦的知识蒸馏算法,其特征在于,步骤S7中的学生模型优化包括以下步骤:S71、利用反向传播机制,计算总损失函数对学生模型参数的梯度;

S72、沿着梯度方向更新学生模型参数;

总损失函数值的计算如公式(18):

Ltotal=αLcls+βLreg+γLlogit+λLfeat#(18其中,α、β、γ、λ分别表示各部分损失对应的系数。