1.一种基于特征图线性依赖的神经网络模型压缩方法,其特征在于:包括如下步骤:步骤1:搭建基于GPU版本的PyTorch深度学习框架运行环境;
步骤2,针对已经训练好的待压缩神经网络模型,获取模型中的卷积层数以及每个卷积层中的通道数量,从其训练数据集中随机采样出少量的样本,随后输入到网络模型中,并提取网络模型中每个通道输出的特征图;
步骤3,基于线性依赖独立性,对提取出的特征图进行处理,并把平均值作为相应通道的独立性;
步骤4,把通道的独立性作为通道的局部重要性,利用遗传进化算法,通过多次迭代,计算出网络模型中每个卷积层的全局规模系数和全局偏差系数;
步骤5,利用全局规模系数和全局偏差系数,把通道的局部重要性转换成全局重要性,根据设置的目标剪枝率,对网络模型中通道的全局重要性得分进行排序,移除小于阈值的通道;
步骤6,利用训练数据集,对剪枝得到的最优子网络进行多网络联合并行训练。
2.根据权利要求1所述一种基于特征图线性依赖的神经网络模型压缩方法,其特征在于:步骤2中每个通道输出的特征图为:l
A为模型中第l个卷积层输出的特征图, 是向量化的第l个卷积层中第i通道输出的特征图,T为矩阵转置。
3.根据权利要求2所述一种基于特征图线性依赖的神经网络模型压缩方法,其特征在于:步骤3中基于输出的特征图计算相应通道的线性依赖独立性,具体公式为:其中对于E(X),X表示待计算的参数矩阵,把X中元素值的范围均匀地分成N个区间,然后计算出每个区间的概率,pk表示第k个区间的概率分布, 表示第l个卷积层的线性依赖辅助二维矩阵,即除第i列全为0外,其他各列均为1, 表示为网络模型中第l个卷积层l
中第i个通道的线性依赖独立性,A为模型中第l个卷积层输出的特征图。
4.根据权利要求3所述一种基于特征图线性依赖的神经网络模型压缩方法,其特征在于:步骤4中把全局规模系数表示为α={α1,..,αL},全局偏差系数表示为β={β1,..,βL},步骤4的具体步骤如下:
步骤4.1,把一个{α,β}作为一个种群,然后随机初始化得到多个种群并组成种群池;
步骤4.2,从种群池中随机选取少量的多个种群作为变异样本,把样本中得分最高的种群作为变异对象,变异得到的新种群如果好于样本池中最差的那个种群,则用新的种群替换掉那个得分低的种群,通过多次迭代,逐渐得到优异的种群;
其中变异过程为:
其中,Std(·)表示标准差计算公式, 表示正态分布计算公式,Ml表示网络模型中第l个卷积层的权重参数矩阵,L为模型中的总层数,sl为第l层的权重参数标准差,σ为随机数,αl、βl为第l层的全局规模系数和全局偏差系数,e为自然常数;
步骤4.3,迭代完成之后,选取出群体池中最大得分群体,即为网络模型中每个卷积层的全局规模系数和全局偏差系数。
5.根据权利要求4所述一种基于特征图线性依赖的神经网络模型压缩方法,其特征在于:步骤5中根据设置的目标剪枝率r,对网络模型所有的通道按照全局重要性 从大到小进行排序,得到阈值为:
其中r为设置的目标剪枝率,t为阈值。
6.根据权利要求5所述一种基于特征图线性依赖的神经网络模型压缩方法,其特征在于:步骤6具体操作为:
步骤6.1,对剪枝后的网络进行复制得到多个相同的网络;
步骤6.2,对多个相同的网络,采用不同的学习率和不同的权重衰减率进行训练,其中在多个网络均进行一次迭代之后,基于权重参数的信息熵进行相应的自适应加权融合。