1.一种基于语义细化的空间金字塔人群计数方法,其特征在于,包括以下步骤:步骤1:获取人群图像数据集,并分为训练集和测试集,将训练集进行裁剪得到输入图像,输入图像进入基于VGG‑16的骨干网络提取基础特征;
步骤2:设计空间金字塔多尺度模块SPMM,SPMM拥有多个具有不同的感受野的平行分支,这些拥有不同感受野的平行分支组成了空间金字塔结构,在步骤1的基础特征上捕获人群图像中的多尺度特征;
步骤3:设计语义增强模块SEM,SEM将骨干网络提取出来的基础特征与SPMM提取出来的多尺度特征进行像素级别的相减操作,之后再经过降维和激活函数后,得到丢失细节信息的权重图,再把权重图与对应的多尺度特征进行相乘,得到增强特征;
步骤4:利用步骤1骨干网络在浅层提取的纹理特征对步骤3得到的增强特征的细节信息进行补偿,用于丰富特征图的细节信息;
步骤5:将步骤4得到的特征图输入由一系列空洞卷积组成的解码结构,从而生成最终的密度图,将密度图进行积分操作,就能得到网络预测的个体数。
2.根据权利要求1所述的一种基于语义细化的空间金字塔人群计数方法,其特征在于,所述步骤1:获取人群图像数据集,并分为训练集和测试集,将训练集进行裁剪得到输入图像,输入图像输入卷积神经层提取特征,具体包含以下步骤:A1:从数据集中的训练集中将人群图像,裁剪为576×768尺寸大小的输入图像I;
A2:将图像I输入到由VGG‑16的前13层构成的骨干网络中提取特征,从第7层提取的特征F7,从第13层提取的特征称为基础特征,用Fv表示,则Fv可以定义为:Fv=fvgg(I) (1)
其中fvgg骨干网络,Fv是通过骨干网络提取到的基础特征。
3.根据权利要求2所述的一种基于语义细化的空间金字塔人群计数方法,其特征在于,所述步骤2设计SPMM,SPMM拥有多个具有不同的感受野的平行分支,这些拥有不同感受野的平行分支组成了空间金字塔结构,在步骤A2的基础特征上捕获人群图像中的多尺度特征,具体包含以下步骤:B1:根据步骤A2,将基础特征Fv输入到拥有四个平行分支的SPMM模块,具体地,SPMM第一个分支是卷积核大小3×3且空洞率为6的空洞卷积、第二个分支是卷积核大小3×3且空洞率为12的空洞卷积、第三个分支是卷积核大小3×3且空洞率为18的空洞卷积、第四个分支是输出特征图尺寸为1×1的全局自适应平均池化层;
B2:拥有四个分支的SPMM能够利用不同分支拥有的不同尺寸的感受野来捕获多尺度特i征,以Fs表示,其中的s表示尺度的意思,i的取值范围是1、2、3、4,分别对应了SPMM四个不同
1 2 3 4
分支,Fs、Fs、Fs、Fs分别表示SPMM从第一个分支到第四分支提取到的特征。
4.根据权利要求3所述的一种基于语义细化的空间金字塔人群计数方法,其特征在于,所述步骤3设计SEM,SEM将骨干网络提取出来的基础特征与SPMM提取出来的多尺度特征进行像素级别的相减操作,之后再经过降维和激活函数后,得到丢失细节信息的权重图,再把权重图与对应的多尺度特征进行相乘,得到增强特征,具体包含以下步骤:C1:将在A2步骤中提取到基础特征Fv输入到1×1卷积层进行降维,目的是让Fv与B2步骤
1 2 3 4
中提取到的Fs、Fs、Fs、Fs维度相同;
C2:接着,让C1步骤中得到的降维之后的基础特征Fv与B2步骤中提取到的多尺度特征
1 2 3 4
Fs、Fs 、Fs 、Fs进行相减操作,我们的方法认为相减操作得到的特征是丢失的细节特征,称为对比特征;
C3:然后,利用1×1的卷积层对C2步骤中提取到的对比特征进行降维;
C4:接着,把C3步骤中提取到的降维之后的对比特征输入到Sigmoid激活函数,得到一个丢失细节信息的权重图Mi,定义如下:i
Mi=Sigmoid(C1×1(C1×1(Fs)‑Fv)),i∈{1,2,3,4} (2)i
其中Fs是B2步骤中提取到的四个不同尺度的特征,Fv是A2步骤提取到的基础特征,C1×1是1×1卷积层,Sigmoid是激活函数。
i
C5:最后,将C4得到的权重图Mi与B2步骤中提取到的四个不同尺度的特征Fs 进行逐像素相乘,以此利用丢失的细节信息权重图来优化多尺度特征,多尺度特征经过优化后得到的特征与A2步骤提取到的基础特征Fv进行通道方向上的融合,以保证特征提取的完备性,得到增强特征Fsem定义如下:i
Fsem=[Mi*Fs|Fv],i∈{1,2,3,4} (3)其中,*表示逐像素相乘,[.|.]表示的是像素方向的融合操作。
5.根据权利要求4所述的一种基于语义细化的空间金字塔人群计数方法,其特征在于,所述步骤4:利用骨干网络在浅层提取的纹理特征对增强特征Fsem的细节信息进行补偿,用于丰富特征图的细节信息:D1:将C5步骤提取到的增强特征Fsem上采样4倍,目的是让其尺寸与从骨干网络第7层提取的特征F7一致;
D2:将D1中上采样之后的增强特征Fsem与F7进行通道方向的拼接,并且在此之后,利用3×3卷积层来融合特征,利用浅层纹理信息来弥补特征图中人头边缘信息的缺失,为之后生成高质量的密度图做准备。
6.根据权利要求5所述的一种基于语义细化的空间金字塔人群计数方法,其特征在于,所述步骤5将D2得到的特征图输入由一系列空洞卷积组成的解码结构,从而生成最终的密度图,将密度图进行积分操作,就能得到网络预测的个体数,具体包括:E1:将D2步骤中融合浅层和深层的特征输入一系列由空洞卷积组成的解码器,能够得到最终的密度图。
E2:具体来说,解码器由六层空洞卷积和一层1×1卷积组成,其中空洞卷积结构都是卷积核3×3且空洞率为2,不同的是通道数不断变小,依次是512、512、512、256、128、64。最后的通道数为64的特征图经过1×1的卷积层降维到1,就得到了最终的密度图。
E3:为了得到网络对密集人群图像预测的人数,只需要把密度图进行积分操作即可。