1.一种神经网络的训练方法,其特征在于,包括:
将图像样本数据输入至第一神经网络中,得到第一神经网络输出的预测标签、以及所述第一神经网络的至少一个指定处理层输出的特征图,所述特征图是在所述第一神经网络确定所述预测标签的过程中输出的,所述特征图包含多个特征值;若所述第一神经网络用于目标检测,则所述样本标签包括图像样本数据中目标的类别和位置信息;若所述第一神经网络用于目标分类,则所述样本标签包括图像样本数据中目标的类别;若所述第一神经网络用于目标识别,则所述样本标签包括图像样本数据中目标的轮廓信息;
依据所述预测标签与所述图像样本数据对应的样本标签并采用预设的损失函数确定损失值,所述损失值用于表征所述预测标签与所述样本标签之间的差异;
按照设定变换方式将所述特征图中每一特征值修改为对应的变换值;其中,所述设定变换方式中,特征值的绝对值越大,则对应的变换值越大,特征值为0,则对应的变换值为设定最小值;
依据所述特征图中各变换值,确定用于表征所述特征图的稀疏度的稀疏度值;
依据所述损失值与所述稀疏度值确定用于优化所述第一神经网络的优化参数值;所述损失值用于在训练过程中约束精度,所述稀疏度用于在训练过程中约束稀疏度,所述优化参数值用于在训练过程中保证精度与稀疏度的平衡;
依据所述优化参数值优化所述第一神经网络得到第二神经网络;所述第二神经网络用于执行以下图像处理中的至少一项:目标检测、目标分类和目标识别。
2.如权利要求1所述的神经网络的训练方法,其特征在于,按照设定变换方式将特征图中每一特征值修改为对应的变换值包括:针对特征图中每一特征值,将该特征值的绝对值确定为对应的变换值;或者,针对特征图中每一特征值,将以该特征值的N次幂确定为对应的变换值,N为正偶数;或者,针对特征图中每一特征值,将以指定常数为底数、该特征值的绝对值或该特征值的N次方为幂的值确定为对应的变换值;或者,针对特征图中每一特征值,将以特征值的绝对值的M次幂确定为对应的变换值,所述M为正整数。
3.如权利要求1-2中任一项所述的神经网络的训练方法,其特征在于,当所述指定处理层的数量为1时,所述特征图的数量也为1,所述依据所述损失值与所述稀疏度值确定用于优化所述第一神经网络的优化参数值,包括:计算所述稀疏度值与第一设定超参数的乘积得到第一结果,将所述损失值与所述第一结果的和确定为所述优化参数值;
或者,
当所述指定处理层的数量大于1时,所述特征图的数量也大于1,所述依据所述损失值与所述稀疏度值确定用于优化所述第一神经网络的优化参数值,包括:针对每一特征图,计算该特征图对应的稀疏度值与指定处理层对应的第二设定超参数的乘积得到特征图对应的第二结果,其中,指定处理层输出的特征图的尺寸越小则对应的第二设定超参数越大;
将所述损失值与各特征图对应的第二结果的和确定为所述优化参数值。
4.如权利要求1所述的神经网络的训练方法,其特征在于,依据所述优化参数值优化所述第一神经网络得到第二神经网络,包括:按照设定的反向传播算法以及所述优化参数值确定出网络参数更新量,依据所述网络参数更新量优化所述第一神经网络中的网络参数;
在当前满足设定的训练结束条件时,将优化后的第一神经网络确定为所述第二神经网络。
5.一种神经网络的训练装置,其特征在于,包括:
图像样本数据输入模块,用于将图像样本数据输入至第一神经网络中,得到第一神经网络输出的预测标签、以及所述第一神经网络的至少一个指定处理层输出的特征图,所述特征图是在所述第一神经网络确定所述预测标签的过程中输出的,所述特征图包含多个特征值;若所述第一神经网络用于目标检测,则所述样本标签包括图像样本数据中目标的类别和位置信息;若所述第一神经网络用于目标分类,则所述样本标签包括图像样本数据中目标的类别;若所述第一神经网络用于目标识别,则所述样本标签包括图像样本数据中目标的轮廓信息;
损失值确定模块,用于依据所述预测标签与所述图像样本数据对应的样本标签并采用预设的损失函数确定损失值,所述损失值用于表征所述预测标签与所述样本标签之间的差异;
稀疏度值确定模块,用于按照设定变换方式将所述特征图中每一特征值修改为对应的变换值;其中,所述设定变换方式中,特征值的绝对值越大,则对应的变换值越大,特征值为0,则对应的变换值为设定最小值;
依据所述特征图中各变换值,确定用于表征所述特征图的稀疏度的稀疏度值;
优化参数值确定模块,用于依据所述损失值与所述稀疏度值确定用于优化所述第一神经网络的优化参数值;所述损失值用于在训练过程中约束精度,所述稀疏度用于在训练过程中约束稀疏度,所述优化参数值用于在训练过程中保证精度与稀疏度的平衡;
神经网络优化模块,用于依据所述优化参数值优化所述第一神经网络得到第二神经网络;所述第二神经网络用于执行以下图像处理中的至少一项:目标检测、目标分类和目标识别;其中,所述第二神经网络在执行任务时可以平衡精度与稀疏度。
6.如权利要求5所述的神经网络的训练装置,其特征在于,所述稀疏度值确定模块按照设定变换方式将特征图中每一特征值修改为对应的变换值时,具体用于:针对特征图中每一特征值,将该特征值的绝对值确定为对应的变换值;或者,针对特征图中每一特征值,将以该特征值的N次幂确定为对应的变换值,N为正偶数;或者,针对特征图中每一特征值,将以指定常数为底数、该特征值的绝对值或该特征值的N次方为幂的值确定为对应的变换值;或者,针对特征图中每一特征值,将以特征值的绝对值的M次幂确定为对应的变换值,所述M为正整数。
7.如权利要求5-6中任一项所述的神经网络的训练装置,其特征在于,当所述指定处理层的数量为1时,所述特征图的数量也为1,所述优化参数值确定模块依据所述损失值与所述稀疏度值确定用于优化所述第一神经网络的优化参数值时,具体用于:计算所述稀疏度值与第一设定超参数的乘积得到第一结果,将所述损失值与所述第一结果的和确定为所述优化参数值;
或者,
当所述指定处理层的数量大于1时,所述特征图的数量也大于1,所述优化参数值确定模块依据所述损失值与所述稀疏度值确定用于优化所述第一神经网络的优化参数值时,具体用于:针对每一特征图,计算该特征图对应的稀疏度值与指定处理层对应的第二设定超参数的乘积得到特征图对应的第二结果,其中,指定处理层输出的特征图的尺寸越小则对应的第二设定超参数越大;
将所述损失值与各特征图对应的第二结果的和确定为所述优化参数值。
8.一种电子设备,其特征在于,包括处理器及存储器;所述存储器存储有可被处理器调用的程序;其中,所述处理器执行所述程序时,实现如权利要求1-4中任意一项所述的神经网络的训练方法。