1.一种不均衡场景中人群分布与计数的检测方法,其特征在于,包括以下步骤:
构建网络,构建一个多级卷积神经网络,该网络包括卷积层、池化层和转置卷积层且具有多个分支网络,每一个分支网络的输入来自不同分辨率的卷积层的输出组合,每一个分支网络再融合为一个整体输出;
预测密度,使用训练图集分别输入到所述多级卷积神经网络,得到预测密度图;
计算优化,引入所述训练图集的场景中的人群数量信息,与所述预测密度图进行比较来计算损失,通过优化调整所述多级卷积神经网络的参数,使得计算损失的结果最小;
数据验证,进一步通过公开的数据图集对经过计算损失优化的所述多级卷积神经网络进行验证,最终获得最佳预测效果。
2.根据权利要求1所述的不均衡场景中人群分布与计数的检测方法,其特征在于,所述多级卷积神经网络包括骨干网络和三个分支网络,在骨干网络中从输入端开始依次是第一卷积层、第一池化层、第二卷积层、第二池化层、第三卷积层、第三池化层、第四卷积层、第四池化层、第五卷积层和第一融合卷积层;第一分支网络包括从所述第三卷积层中的三个卷积子层输出后相叠加,再经过第二融合卷积层输出;第二分支网络包括从所述第五卷积层中的三个卷积子层输出后相叠加,再经过第一融合卷积层输出;第三分支网络包括从所述第四卷积层中的三个卷积子层输出后相叠加,再经过第三融合卷积层输出,所述第一融合卷积层、第二融合卷积层和第三融合卷积层共同输出到汇聚卷积层,再由汇聚卷积层输出终检测结果。
3.根据权利要求2所述的不均衡场景中人群分布与计数的检测方法,其特征在于,第一卷积层对应的特征图的宽度和高度与输入的图像的宽度和高度相同,包括第一输入卷积子层和第一输出卷积子层,第一输入卷积子层的输入通道数为3,输出通道数为64,第一输出卷积子层的输入通道数为64,输出通道数为64,第一池化层的输入通道数为64,输出通道数为64;第二卷积层对应的特征图的宽度和高度分别对应是输入的图像的宽度的二分之一和高度的二分之一,包括第二输入卷积子层和第二输出卷积子层,第二输入卷积子层的输入通道数为64,输出通道数为128;第二输出卷积子层的输入通道数为128,输出通道数为128,第二池化层的输入通道数为128,输出通道数为128。
4.根据权利要求3所述的不均衡场景中人群分布与计数的检测方法,其特征在于,第三卷积层对应的特征图的宽度和高度分别对应是输入的图像的宽度的四分之一和高度的四分之一,包括第三输入卷积子层、第三中间卷积子层和第三输出卷积子层;第三输入卷积子层的输入通道数为128,输出通道数为256;第三中间卷积子层的输入通道数为256,输出通道数为256;第三输出卷积子层的输入通道数为256,输出通道数为256;第三池化层的输入通道数为256,输出通道数为256;第四卷积层对应的特征图的宽度和高度分别对应是输入的图像的宽度的八分之一和高度的八分之一,包括第四输入卷积子层、第四中间卷积子层和第四输出卷积子层;第四输入卷积子层的输入通道数为256,输出通道数为512;第四中间卷积子层的输入通道数为512,输出通道数为512;第四输出卷积子层的输入通道数为512,输出通道数为512;第四池化层的输入通道数为512,输出通道数为512。
5.根据权利要求4所述的不均衡场景中人群分布与计数的检测方法,其特征在于,第五卷积层对应的特征图的宽度和高度分别对应是输入的图像的宽度的十六分之一和高度的十六分之一,包括第五输入卷积子层、第五中间卷积子层和第五输出卷积子层;第五输入卷积子层的输入通道数为512,输出通道数为512;第五中间卷积子层的输入通道数为512,输出通道数为512;第五输出卷积子层的输入通道数为512,输出通道数为512。
6.根据权利要求5所述的不均衡场景中人群分布与计数的检测方法,其特征在于,所述第一分支网络包括由第三卷积层的第三输入卷积子层、第三中间卷积子层和第三输出卷积子层进行相加输出到第二融合卷积层,第二融合卷积层包括依次串联的第二融合输入卷积层和第二融合输出卷积层,对应的特征图均为输入的图像的宽度的八分之一和高度的八分之一;第二融合输入卷积层的输入通道数为256,输出通道数为256,第二融合输出卷积层的输入通道数为256,输出通道数为1。
7.根据权利要求6所述的不均衡场景中人群分布与计数的检测方法,其特征在于,所述第二分支网络包括由第五卷积层的第五输入卷积子层、第五中间卷积子层和第五输出卷积子层进行相加输出到第一融合卷积层,第一融合卷积层包括依次串联的第一融合输入卷积层、第一融合中间卷积层和第一融合输出卷积层,对应的特征图均为输入的图像的宽度的八分之一和高度的八分之一;第一融合输入卷积层为转置卷积层,输入通道数为512,输出通道数为256,第一融合中间卷积层输入通道数为256,输出通道数为256,第一融合输出卷积层输入通道数为256,输出通道数为1。
8.根据权利要求7所述的不均衡场景中人群分布与计数的检测方法,其特征在于,所述第三分支网络包括由第四卷积层的第四输入卷积子层、第四中间卷积子层和第四输出卷积子层进行相加输出到第三融合卷积层,第三融合卷积层包括依次串联的第三融合输入卷积层和第三融合输出卷积层,对应的特征图均为输入的图像的宽度的八分之一和高度的八分之一;第三融合输入卷积层的输入通道数为512,输出通道数为256,第三融合输出卷积层的输入通道数为256,输出通道数为1;
三个分支网络的输出到汇聚卷积层,所述汇聚卷积层的特征图也是输入的图像的宽度的八分之一和高度的八分之一,对应的输入通道数为3,输出通道数为1。
9.根据权利要求1至8任一项所述的不均衡场景中人群分布与计数的检测方法,其特征在于,所述多级卷积神经网络定义为:
y=F(x,w1,w1,…,wn),
其中,x为输入图像,y为输出密度图,wi(i=1,2,…,n)为网络所包含的参数,F为代表网络结构的函数;
在正向传播时,对函数F输入图像x,得到预测密度图y,将预测密度图y与真实密度图g通过输入损失函数计算得到损失值l,然后反向传播修正参数wi,得到修正后的参数w'i的公式如下:其中,η为预先设定的学习率,为偏导符号,然后反复进行该过程,直至得到损失值l最小,此时对应的网络参数wi(i=1,2,…,n)即为所需的最优网络参数。
10.根据权利要求9所述的不均衡场景中人群分布与计数的检测方法,其特征在于,损失计算方法引入场景所包含的人数作为参数,其中池化损失定义如下:其中,N为样本数,D(Xi;Θ)和Di分别是数据集中第i个样本Xi的预测密度图和真实密度图,LB(Θ)同时引入了密度分布和总人数作为损失的因子。