1.一种基于卷积神经网络的数字识别方法,其特征在于:对将要提取特征的图像进行预处理、居中和数字分割,将灰度字符图像的前景区域通过外接矩形提取处理,并按照统一的标准进行居中处理;具体的步骤包括:S1:将MNIST数据集中的原始数据进行预处理,采用归一化的预处理方式将原始图像矩阵的数据都变为0到1的数据,同时将图像尺寸调整到与下一层的输入要求一致;
S2:通过卷积核对经过预处理的输入图像进行遍历,从中提取出图像的相关特征;所述的通过卷积核对经过预处理的输入图像进行遍历,对图片的卷积运算为多通道输入,卷积核需要拥有相同的通道数,每个卷积核通道与输入层的对应通道进行卷积;卷积运算的计算公式为:上式中,为第k层第m个神经元的输入,为第k层的卷积核,为第k层卷积后第m个神经元的输出;为第k层神经元的偏置,为多层通道卷积运算后累加的最终输出;为经过改进的激活函数处理后的输出,f(.)为改进的激活函数用来引入非线性特性;
S3:使用改进的激活函数将输出的结果处理成非线性,从而增加神经网络的非线性拟合能力;所述改进的激活函数的公式为:上式中,x为激活值;
激活函数是非线性映射运算,具有保留、映射、激活神经元的特征;激活函数通过对输入信号的非线性变换表示,达到模拟数据在人类神经元传播的效果,主要用在相邻层级之间,连接神经网络并且给神经网络增加非线性因素;为了拟合任意函数即添加非线性运算;CNN模型中需要使用梯度下降法进行权重数据的更新,因此对应的激活函数要连续且可导;在进行迭代时函数的值域范围要小,才能将输出的数据控制在一定范围内,使训练结果更容易收敛;
改进的激活函数式为:
上式中,f(x)为改进函数,f'(x)为导函数;
S4:为了减少特征映射的维数,既缩减模型的规模,将输出的特征图划分为多个小块区域,每个区域中用一个值代表该区域内的多个值,使用池化运算处理图像相关特征,以此来减小每个特征图的尺寸,并保留最重要的特征信息;
S5:将特征图像数据进行全连接运算使其高度抽象为一维数组;
S6:将抽象的一维数组进行数字的分类运算,得到输出结果;分类运算的算法步骤包括:Step 1:用随机数初始化所有的神经网络不同参数权重;
Step 2:输入要训练的图片,执行前向传播的步骤,运算出每个类别对应的输出特征图像;
Step 3:计算输出层的识别概率;
Step 4:通过反向传播算法计算输出的误差值相对于神经元所有神经元参数或权重值间的梯度,再由此调整连接权重,更新相关参数,经过多次迭代计算直至获取最优解停止权值调整;
Step 5:使用Softmax回归函数将输出值进行归一化,使分类结果更加直观。
2.根据权利要求1所述的一种基于卷积神经网络的数字识别方法,其特征在于:步骤S1中所述的将MNIST数据集中的原始数据进行预处理,使用归一化方法对原始样本的特征值按每个维度进行线性变换,使结果映射到[0,1]的范围,实现等比缩放,提高识别器的识别效率;归一化的计算公式为:上式中,h'为经过归一化处理后的图像像素值,h为图像像素值,hmin为图像像素最小值,hmax为图像像素最大值。
3.根据权利要求1所述的一种基于卷积神经网络的数字识别方法,其特征在于:步骤S4中所述的使用池化运算处理图像相关特征,减小每个特征图的尺寸,并保留最重要的特征信息;其实是使用最大池化运算来减少特征参数,保留重要特征信息;计算区域最大值的降采样过程可表示为:上式中,M为降采样区间,aj为池化区域中第j个元素,为第j个神经元的输出,f(.)为某种激活函数用来引入非线性特性。
4.根据权利要求1所述的一种基于卷积神经网络的数字识别方法,其特征在于:步骤S5所述的将特征图像数据进行全连接运算,使其高度抽象为一维数组,是通过全连接运算,将每个神经元对应的权重与上一层神经元的输出结果结合,计算得到当前层神经元的输出,计算的表达式为:上式中,为全连接层中第j个神经元的权重系数;xk-1为上一层神经元的输出;为连接层第k个神经元的输出;为经过改进激活函数处理后的输出;f(.)为某种激活函数用来引入非线性特性。
5.根据权利要求1所述的一种基于卷积神经网络的数字识别方法,其特征在于:步骤Step 4中所述的更新相关参数,要根据图像的预测输出和实际标签值之间的误差求出模型的损失函数,以均方差函数作为误差函数训练网络模型,求取模型的损失;求取模型损失的计算公式为:上式中,y'为期望输出,y为实际输出,N为样本的总数。
6.根据权利要求5所述的一种基于卷积神经网络的数字识别方法,其特征在于:步骤Step 4中所述的反向传播算法的训练过程中,第一步为计算出网络总的误差δ,误差δ的计算公式为:由反向传播最后一层,即第k层第j个神经元中产生的误差公式为:
其中,表示最后一层,即第k层的第j个神经元的输出;
权重参数的链式求导公式为:
其中,xk-1为k-1层的神经元的输出;
偏置项参数的链式求导公式为:
使用梯度下降的方法更新权重参数和偏置项参数,计算公式如下:
其中,η表示学习率,作用是控制参数更新的幅度。
7.根据权利要求1所述的一种基于卷积神经网络的数字识别方法,其特征在于:步骤Step 5中使用Softmax回归函数将输出值进行归一化,是使用Softmax回归函数将全连接层与输出层组合起来直观地输出样本的分类概率;Softmax回归函数的公式为:上式中,xi为输出层中第i个神经元的输入值,n为神经元的总数,Yi为第i个神经元的输出值/分类概率。