1.基于动态对比掩码与知识蒸馏的深度神经网络剪枝方法,其特征在于,包括以下步骤:针对输入样本构建代理任务引导掩码学习,输入样本为图像,具体包括:将训练过程建模为时间序列,以当前训练周期样本的掩码为锚点,结合前一训练周期样本的掩码构建正负示例;
设计含样本复杂度自适应因子的动态对比掩码损失函数,生成匹配输入样本复杂度的二值掩码,实现对不同输入样本的差异化剪枝;
基于子网络对输入样本的特征提取能力相似性,构建相互知识蒸馏机制,通过KL散度度量子网络对输入样本的预测分布一致性,实现子网络间知识迁移与协同学习,保障剪枝后模型性能;
其中,所述动态对比掩码损失函数的基础目标通过最大化正样本的平均对数似然优化,公式为:;
其中,为当前训练周期掩码;为前一训练周期掩码;为前一训练周期掩码是当前训练周期掩码的正例的概率;表示正例;K表示整个网络的通道数;为第个通道;表示余弦相似度距离;为温度系数;k为第个通道;
所述构建代理任务步骤中,对于第个通道,样本在训练第个周期得到的掩码表示为,与在第个周期得到的掩码构成正掩码对,其余2K-1个掩码则被视为负掩码,其中K表示整个网络的通道数;
所述样本复杂度自适应因子的计算公式为:
;
其中,为样本复杂度自适应因子;为交叉熵损失的反向转化;和分别表示的最大值和最小值;
所述动态对比掩码损失函数引入L1正则项后,得到掩码对比损失:;
其中,为掩码对比损失函数;表示样本总数;i为第i个样本;为权重平衡系数;为第e个训练周期得到的掩码。
2.根据权利要求1所述的基于动态对比掩码与知识蒸馏的深度神经网络剪枝方法,其特征在于,从所述子网络中得到预测类别概率的公式为:;
其中,为子网络预测为y类别的概率;表示子网络的Softmax层的输出;和分别表示类别和类别总数。
3.根据权利要求2所述的基于动态对比掩码与知识蒸馏的深度神经网络剪枝方法,其特征在于,所述KL散度度量两个子网络预测分布一致性的公式为:;
其中,为子网络的预测概率分布和子网络的预测概率分布的KL散度;i为第i个样本;N为样本总数;和分别表示类别和类别总数;表示子网络预测输入样本为类别的概率;表示子网络预测输入样本为类别的概率。
4.根据权利要求3所述的基于动态对比掩码与知识蒸馏的深度神经网络剪枝方法,其特征在于,所述相互知识蒸馏机制的相互蒸馏损失公式为:;
其中,为在N个子网络中任意两个子网络进行相互蒸馏的损失函数;N为子网络总数;i为第i个子网络;为第个子网络;为子网络的预测概率分布和子网络的预测概率分布的KL散度。
5.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-4任一项所述基于动态对比掩码与知识蒸馏的深度神经网络剪枝方法的步骤。
6.一种电子设备,所述电子设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-4任一项所述基于动态对比掩码与知识蒸馏的深度神经网络剪枝方法的步骤。