1.一种基于脉冲阵列的卷积神经网络优化方法,其特征在于,所述卷积神经网络包括至少一层卷积层;所述卷积层包括至少一组过滤器;任一卷积层执行的卷积操作包括:使用过滤器在输入激活矩阵上进行扫描,其中,所述过滤器每扫描到所述输入激活矩阵的一个位置就使用所述过滤器的权重进行一次矩阵点乘计算,得到输出激活矩阵中的一个元素;
所述脉冲阵列用于执行每一卷积层所涉及的矩阵点乘计算,所述脉冲阵列包括N行M列处理单元PE;其中,参与矩阵点乘计算的任一PE的寄存器,用于存储相应过滤器的权重值;
所述方法包括:
确定处理本层卷积层的卷积操作的初始PE运算阵列;所述初始PE运算阵列包括行数n和列数m;其中,n小于等于N,m小于等于M;
将所述初始PE运算阵列中最高运行频率最低的PE进行替换,以得到优化后的PE运算阵列。
2.如权利要求1所述的方法,其特征在于,所述将所述初始PE运算阵列中最高运行频率最低的PE进行替换包括:确定所述脉冲阵列中的冗余PE行和冗余PE列;
对所述初始PE运算阵列执行冗余替换,得到冗余优化后的PE运算阵列;
其中,所述执行冗余替换包括:
执行至少一次的冗余行替换操作,以及,执行至少一次的冗余列替换操作中的至少一种。
3.如权利要求2所述的方法,其特征在于,所述将所述初始PE运算阵列中最高运行频率最低的PE进行替换包括:确定用于替换目标替换PE的至少一个PE;所述目标替换PE为所述初始PE运算阵列或者所述冗余优化后的PE运算阵列中最高运行频率最低的PE;
对所述目标替换PE对应的权重进行权重转移;
禁用所述目标替换PE,以令所述目标替换PE不执行乘加运算。
4.如权利要求3所述的方法,其特征在于,所述目标替换PE对应的权重值表示为W,其在过滤器权重矩阵中对应的位置为目标替换位置;
所述对所述目标替换PE对应的权重进行权重转移包括:在以所述目标替换位置为中心的四个预设方向上选取k个未被禁用的位置;所述四个预设方向包括:所述目标替换位置的正上方,所述目标替换位置的正下方,所述目标替换位置的正左方和所述目标替换位置的正右方;k大于等于1;所述k个未被禁用的位置中的任一位置当前对应的权重值表示为Wi;i大于等于1小于等于k;或者,i大于等于0小于等于k‑1;
或者,
在围绕所述目标替换位置的位置中选取k个未被禁用的位置;
所述对所述目标替换位置对应的权重进行权重转移包括:将所述任一位置对应的权重值更新为W/k+Wi。
5.如权利要求3所述的方法,其特征在于,所述冗余行替换操作包括:
从所述脉冲阵列所有未被禁用的PE中,选出最高运行频率最低的PE;选出的PE为目标PE;
禁用所述目标PE所在的PE行;
若所述目标PE不在冗余PE行中,选择未被禁用的冗余PE行替换所述目标PE所在的PE行;
所述冗余列替换操作包括:
从所述脉冲阵列所有未被禁用的PE中,选出最高运行频率最低的PE;选出的PE为目标PE;
禁用所述目标PE所在的PE列;
若所述目标PE不在冗余PE列中,选择未被禁用的冗余PE列替换所述目标PE所在的PE列。
6.如权利要求4所述的方法,其特征在于,在所述将所述初始PE运算阵列中最高运行频率最低的PE进行替换之前,还包括:获取所述脉冲阵列中各PE的最高运行频率。
7.如权利要求6所述的方法,其特征在于,所述获取所述脉冲阵列中各PE的最高运行频率包括:将所述脉冲阵列中各PE对应的权重值设置为最大值;
对所述脉冲阵列中除第j行PE行之外的所有PE行进行禁用;j大于等于1小于等于N;或者,j大于等于0小于等于N‑1;
以令第j行PE行中各PE均可正常运行的运行频率为起点运行频率,执行多次最高运行频率获取操作,直至第j行PE行中所有PE的最高运行频率均被确定;
其中,第一次最高运行频率获取操作中使用的运行频率为所述起点运行频率,第n次最高运行频率获取操作中的运行频率fn高于第n‑1次最高运行频率获取操作中的运行频率fn‑1;n大于1;
第n次最高运行频率获取操作包括:
向所述第j行PE行传入二进制下全为1的激活值;所述第j行PE行中的所有PE均使用所述激活值进行乘法运算;
将所述第j行PE行中各PE的运算结果与相应的预期结果进行比较;
将运算结果首次与预期结果不相同的PE的最高运行频率确定为fn‑1。
8.一种基于脉冲阵列的卷积神经网络优化装置,其特征在于,所述卷积神经网络包括至少一层卷积层;所述卷积层包括至少一组过滤器;任一卷积层执行的卷积操作包括:使用过滤器在输入激活矩阵上进行扫描,其中,所述过滤器每扫描到所述输入激活矩阵的一个位置就使用所述过滤器的权重进行一次矩阵点乘计算,得到输出激活矩阵中的一个元素;
所述脉冲阵列用于执行每一卷积层所涉及的卷积计算,所述脉冲阵列包括N行M列处理单元PE;其中,参与卷积计算的任一PE的寄存器,用于存储相应过滤器的权重值;
所述装置包括:
状态表,至少用于:保存所述脉冲阵列中各PE的最高运行频率;
控制模块,用于:
确定处理本层卷积层的卷积操作的初始PE运算阵列;所述初始PE运算阵列包括行数n和列数m;其中,n小于等于N,m小于等于M;
将所述初始PE运算阵列中最高运行频率最低的PE进行替换,以得到优化后的PE运算阵列。
9.如权利要求8所述的装置,其特征在于,在所述将所述初始PE运算阵列中最高运行频率最低的PE进行替换的方面,所述控制模块具体用于:确定所述脉冲阵列中的冗余PE行和冗余PE列;
对所述初始PE执行冗余替换,得到冗余优化后的PE运算阵列;
其中,所述执行冗余替换包括:
执行至少一次的冗余行替换操作,以及,执行至少一次的冗余列替换操作中的至少一种。
10.如权利要求9所述的装置,其特征在于,还包括权重转移模块;
在所述将所述初始PE运算阵列中最高运行频率最低的PE进行替换的方面,所述控制模块具体用于:确定用于替换目标替换PE的至少一个PE;所述目标替换PE包括目标PE运算阵列中最高运行频率最低的PE;所述目标替换PE存储的权重值表示为W;所述目标PE运算阵列为所述初始PE运算阵列或者所述冗余优化后的PE运算阵列;
指示所述权重转移模块对所述目标替换PE对应的权重进行权重转移;
禁用所述目标替换PE,以令所述目标替换PE不执行乘加运算;
所述状态表还用于:保存被进行权重转移的PE数量。