1.一种基于知识蒸馏的轻量级苹果叶片病害识别方法,其特征在于,包括以下步骤:S1:获取并扩充数据集数量;
S2:对经典SqueezeNet结构进行修改,获取改进的SqueezeNet模型;
S3:利用多个教师网络来指导改进的SqueezeNet模型训练,改进的SqueezeNet模型即为学生网络;
所述步骤S2包括以下子步骤:
S21:将经典SqueezeNet模型的第二卷积层输出通道从1000修改为需要进行分类识别的种类数量,获取改进后的基础模型;
S22:在经典SqueezeNet模型的fire模块中,利用深度可分离卷积代替原本的3S23:在经典SqueezeNet模型的fire模块中,将原本1×1的卷积利用分组卷积减少参数,并利用通道混洗加强分组后通道之间的交流,得到改进后的fire模块,记为N-Fusion;
S24:将经典SqueezeNet模型中的第一层7×7的卷积换成3×3的转置深度可分离卷积;
S25:在经典SqueezeNet模型的fire模块中,有四个参数,分别为输入通道数、压缩层的输出通道数、扩展层中1×1卷积核的通道数、3×3卷积核的通道数,八个所述fire模块中压缩层和扩展层参数两两相同,将其均舍除一个,并加入批归一化层加快网络收敛,得到改进的SqueezeNet模型;
在所述步骤S24中,转置深度可分离卷积构建过程为先利用组卷积将输入通道利用1×1的卷积升至与通道一致再用组卷积;
S4:当部分教师网络指导训练后SqueezeNet模型的识别精度小于模型自身训练的识别精度时,再将该部分教师网络作为学生网络,用指导训练后SqueezeNet模型的识别精度高于模型自身训练的精度的其余部分教师网络去指导该作为学生网络的部分教师网络训练,得到进修后的该部分教师网络,再用来指导改进的SqueezeNet模型训练;
S5:将测试集中样本图像输入经过步骤S4中各教师网络指导训练后的改进的SqueezeNet模型中,对样本图像中苹果叶片病害的类别进行识别。
2.根据权利要求1所述的一种基于知识蒸馏的轻量级苹果叶片病害识别方法,其特征在于:所述步骤S1包括以下子步骤:S11:选取苹果叶片病害数据集,将原始数据集按7:3比例划分为训练集、验证集,再从验证集中随机挑选304张作为测试集,并将训练集的各类别数据集进行加噪扩充至各类别数据集平衡;
S12:将训练集中的样本尺寸由最初的224×224调整为64×64的图片;
S13:对训练样本进行数据增强处理。
3.根据权利要求2所述的一种基于知识蒸馏的轻量级苹果叶片病害识别方法,其特征在于:在所述步骤S11中,所述训练集、所述验证集、所述测试集中图像样本均包括4种类别,分别为雪松生锈病、黑腐病、黑星病、健康。
4.根据权利要求1所述的一种基于知识蒸馏的轻量级苹果叶片病害识别方法,其特征在于:在所述步骤S2中,所述经典SqueezeNet模型包括两个卷积层和八个fire模块,八个所述fire模块依次设置在两个所述卷积层的之间,其中位于首端的卷积层为第一卷积层,采用7×7的卷积核,步长为2,输出通道为96,位于尾端的卷积层为第二卷积层,采用1×1的卷积核,输出通道为1000。
5.根据权利要求1所述的一种基于知识蒸馏的轻量级苹果叶片病害识别方法,其特征在于:所述步骤S3包括以下子步骤:S31:将训练集输入改进的SqueezeNet模型、多个教师网络及原SqueezeNet模型中进行参数更新,其中除了改进的SqueezeNet模型以及原SqueezeNet网络模型,其他的网络保存最好的训练结果作为预训练模型;
S32:由步骤S25得到改进的SqueezeNet模型作为学生网络,利用多个教师网络来指导学生网络训练;
S33:采用BP算法进行训练,根据网络输出与样本标签的误差更新网络参数,每次采用最小批量法计算网络误差和更新权重,在训练时选用Adam优化算法和学习率预热策略,学习率设置为1e-3,每次迭代输入128个样本,当迭代次数达到设定次数时终止网络的训练。
6.根据权利要求5所述的一种基于知识蒸馏的轻量级苹果叶片病害识别方法,其特征在于:在所述步骤S33中,所述Adam优化算法的步骤如下:S331:计算梯度的一阶矩估计和二阶矩估计,计算公式为:
其中,g
S332:对一阶矩估计和二阶矩估计的校正,计算公式为:
其中,m
S333:进行参数更新,参数更新的最终公式为:
其中,β
7.根据权利要求6所述的一种基于知识蒸馏的轻量级苹果叶片病害识别方法,其特征在于:在所述步骤S33中,所述学习率预热策略即在开始训练的时候以小的学习率进行训练,使得网络熟悉数据,随着训练的进行学习率变大,到达设定条件以设置的初始学习率进行训练。