1.一种图像分类方法,其特征在于,所述方法包括:
将数据集图片放入深度残差网络中提取特征,得到特征图;
将所述特征图作为优化后的区域建议网络的输入,所述优化后的区域建议网络选择出代表所述数据集图片类别特征的目标所在区域,将所述目标所在区域放入全连接层,得到得分最高的N个候选框,N是大于1的整数;
根据所述N个候选框得到目标候选框,将所述目标候选框作为稀疏化双线性CNN网络结构的输入,所述稀疏化双线性CNN网络结构包括第一流特征提取函数和第二流特征提取函数,所述第一特征提取函数用于对物体的局部信息进行检测定位,所述第二特征提取函数用于对第一特征提取函数检测到的局部信息进行特征提取;
将所述第一特征提取函数和第二特征提取函数所得到的特征相加后,经过双线性池化,作为最后提取的特征向量,将所述最后提取的特征向量输入softmax层进行分类,得到细粒度图像分类结果。
2.根据权利要求1所述的方法,其特征在于,将所述特征图作为优化后的区域建议网络的输入,所述优化后的区域建议网络选择出代表所述数据集图片类别特征的目标所在区域,将所述目标所在区域放入全连接层,得到得分最高的N个候选框的步骤,具体包括:将所述特征图作为优化后的区域建议网络的输入,经过第一卷积层,得到多通道特征图;
将所述多通道特征图的每一个锚点生成一系列候选框,将所述候选框输入到RPN网络的分类层和回归层,所述分类层对所述候选框进行分类,确定所述候选框是前景候选框还是背景候选框,对所述候选框打分,同时在所述回归层对其进行初步回归,通过计算所述前景候选框与实际候选框的偏差值对所述前景候选框进行调整修正;
调整过的候选框根据相应的比例将其映射到原始图像中,判断映射后候选框是否大范围超过边界,剔除严重超出边界的候选框;
按照所述分类层生成的得分将所述候选框进行从大到小排序,提取前Y个候选框,Y是大于1的整数,对Y个候选框进行软化非极大值处理,将软化非极大值处理后得到的候选框再次排序,输出N个候选框,其中N
3.根据权利要求2所述的方法,其特征在于,
所述分类层为所述候选框时输出检测框Di以及对应的得分fi:
所述检测框Di以及其得分fi的计算如下:
其中,Si是重叠框的交集的面积;S是重叠框的并集的面积;
所述对Y个候选框进行软化非极大值处理时的计算算式如下:
其中,τ为常数阈值。
4.根据权利要求3所述的方法,其特征在于,根据所述N个候选框得到目标候选框,将所述目标候选框作为稀疏化双线性CNN网络结构的输入的步骤具体包括:将得到的所述N个候选框经过ROI池化层处理后,输出固定尺寸的目标候选框,将所述目标候选框作为稀疏化双线性CNN结构的输入。
5.根据权利要求1所述的方法,其特征在于,所述稀疏化双线性CNN网络结构利用批归一化层的比例因子γ组成稀疏层,嵌入在双线性CNN每个第二卷积层后,所述稀疏层中每个比例因子γ与第二卷积层的每个输出在批归一化层中相乘,以筛选特征通道,所述比例因子γ范围为0.001~1.5。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:
批归一化层对小批量输入进行归一化操作,使内部激活标准化,定义xin和xout作为所述批归一化层的输入和输出,B为当前的小批量,批归一化层执行的转换如下:其中,m是小批量训练数据的数量,i代表此时相加的数据是xi,过程是从x1加到xm,μB和σB分别为小批量B输入激活的平均值和标准偏差值,为对输入xin标准化处理后的输出,其中ε是为了避免除数为0时所使用的微小正数,比例因子γ、β为可训练的仿射变换参数,能将标准化激活线性变换到任何尺度,它们是在训练时网络自己学习到的。
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
在双线性CNN的训练目标函数中添加稀疏惩罚项,以控制比例因子在训练过程中的稀疏性:训练目标函数
其中,l为原双线性CNN的损失函数,采用交叉熵损失函数:
p(x)为交叉熵函数准确值,q(x)为交叉熵函数预测值,l交叉熵计算值为两者概率分布的距离;(x,y)为输入图像和真实标签;W为可训练的权重。式(6)中 为稀疏惩罚项,g(γ)为对比例因子γ的正则化操作,λ为控制稀疏程度的参数,防止稀疏比例因子过多而丢失重要通道特征,g(·)选用L2正则化,L2正则化处理为其中,Φ(I)为通过特征函数输出获得双线性特征,用于提高双线性CNN的性能,y是经过式(9)运算后的结果,z为L2正则化处理y后的结果;
经过通道级稀疏后,网络具有众多接近于0的比例因子,裁剪所述比例因子实现特征通道的修剪。
8.根据权利要求7所述的方法,其特征在于,所述方法还包括:
所述稀疏化双线性CNN整体架构为有向非循环图,计算特征提取网络梯度以实现端到端训练,在训练中对裁剪后的双线性CNN进行微调,以提高分类精度。
9.一种计算机设备,其特征在于,所述计算机设备包括处理器、存储器和通信总线;
所述通信总线用于实现处理器和存储器之间的连接通信;
所述计算机设备还包括存储在所述存储器上并可在所述处理器上运行的图像分类程序,所述图像分类程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像分类方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有图像分类程序,所述图像分类程序被所述处理器执行时实现如权利要求1至8中任一项所述的图像分类方法的步骤。