欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022103033124
申请人: 重庆邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-06-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于语义细化的空间金字塔人群计数方法,其特征在于,包括以下步骤:步骤1:获取人群图像数据集,并分为训练集和测试集,将训练集进行裁剪得到输入图像,输入图像进入基于VGG‑16的骨干网络提取基础特征;

步骤2:设计空间金字塔多尺度模块SPMM,SPMM拥有多个具有不同的感受野的平行分支,这些拥有不同感受野的平行分支组成了空间金字塔结构,在步骤1的基础特征上捕获人群图像中的多尺度特征;

步骤3:设计语义增强模块SEM,SEM将骨干网络提取出来的基础特征与SPMM提取出来的多尺度特征进行像素级别的相减操作,之后再经过降维和激活函数后,得到丢失细节信息的权重图,再把权重图与对应的多尺度特征进行相乘,得到增强特征;

步骤4:利用步骤1骨干网络在浅层提取的纹理特征对步骤3得到的增强特征的细节信息进行补偿,用于丰富特征图的细节信息;

步骤5:将步骤4得到的特征图输入由一系列空洞卷积组成的解码结构,从而生成最终的密度图,将密度图进行积分操作,就能得到网络预测的个体数。

2.根据权利要求1所述的一种基于语义细化的空间金字塔人群计数方法,其特征在于,所述步骤1:获取人群图像数据集,并分为训练集和测试集,将训练集进行裁剪得到输入图像,输入图像输入卷积神经层提取特征,具体包含以下步骤:A1:从数据集中的训练集中将人群图像,裁剪为576×768尺寸大小的输入图像I;

A2:将图像I输入到由VGG‑16的前13层构成的骨干网络中提取特征,从第7层提取的特征F7,从第13层提取的特征称为基础特征,用Fv表示,则Fv可以定义为:Fv=fvgg(I) (1)

其中fvgg骨干网络,Fv是通过骨干网络提取到的基础特征。

3.根据权利要求2所述的一种基于语义细化的空间金字塔人群计数方法,其特征在于,所述步骤2设计SPMM,SPMM拥有多个具有不同的感受野的平行分支,这些拥有不同感受野的平行分支组成了空间金字塔结构,在步骤A2的基础特征上捕获人群图像中的多尺度特征,具体包含以下步骤:B1:根据步骤A2,将基础特征Fv输入到拥有四个平行分支的SPMM模块,具体地,SPMM第一个分支是卷积核大小3×3且空洞率为6的空洞卷积、第二个分支是卷积核大小3×3且空洞率为12的空洞卷积、第三个分支是卷积核大小3×3且空洞率为18的空洞卷积、第四个分支是输出特征图尺寸为1×1的全局自适应平均池化层;

B2:拥有四个分支的SPMM能够利用不同分支拥有的不同尺寸的感受野来捕获多尺度特i征,以Fs表示,其中的s表示尺度的意思,i的取值范围是1、2、3、4,分别对应了SPMM四个不同

1 2 3 4

分支,Fs、Fs、Fs、Fs分别表示SPMM从第一个分支到第四分支提取到的特征。

4.根据权利要求3所述的一种基于语义细化的空间金字塔人群计数方法,其特征在于,所述步骤3设计SEM,SEM将骨干网络提取出来的基础特征与SPMM提取出来的多尺度特征进行像素级别的相减操作,之后再经过降维和激活函数后,得到丢失细节信息的权重图,再把权重图与对应的多尺度特征进行相乘,得到增强特征,具体包含以下步骤:C1:将在A2步骤中提取到基础特征Fv输入到1×1卷积层进行降维,目的是让Fv与B2步骤

1 2 3 4

中提取到的Fs、Fs、Fs、Fs维度相同;

C2:接着,让C1步骤中得到的降维之后的基础特征Fv与B2步骤中提取到的多尺度特征

1 2 3 4

Fs、Fs 、Fs 、Fs进行相减操作,我们的方法认为相减操作得到的特征是丢失的细节特征,称为对比特征;

C3:然后,利用1×1的卷积层对C2步骤中提取到的对比特征进行降维;

C4:接着,把C3步骤中提取到的降维之后的对比特征输入到Sigmoid激活函数,得到一个丢失细节信息的权重图Mi,定义如下:i

Mi=Sigmoid(C1×1(C1×1(Fs)‑Fv)),i∈{1,2,3,4} (2)i

其中Fs是B2步骤中提取到的四个不同尺度的特征,Fv是A2步骤提取到的基础特征,C1×1是1×1卷积层,Sigmoid是激活函数。

i

C5:最后,将C4得到的权重图Mi与B2步骤中提取到的四个不同尺度的特征Fs 进行逐像素相乘,以此利用丢失的细节信息权重图来优化多尺度特征,多尺度特征经过优化后得到的特征与A2步骤提取到的基础特征Fv进行通道方向上的融合,以保证特征提取的完备性,得到增强特征Fsem定义如下:i

Fsem=[Mi*Fs|Fv],i∈{1,2,3,4} (3)其中,*表示逐像素相乘,[.|.]表示的是像素方向的融合操作。

5.根据权利要求4所述的一种基于语义细化的空间金字塔人群计数方法,其特征在于,所述步骤4:利用骨干网络在浅层提取的纹理特征对增强特征Fsem的细节信息进行补偿,用于丰富特征图的细节信息:D1:将C5步骤提取到的增强特征Fsem上采样4倍,目的是让其尺寸与从骨干网络第7层提取的特征F7一致;

D2:将D1中上采样之后的增强特征Fsem与F7进行通道方向的拼接,并且在此之后,利用3×3卷积层来融合特征,利用浅层纹理信息来弥补特征图中人头边缘信息的缺失,为之后生成高质量的密度图做准备。

6.根据权利要求5所述的一种基于语义细化的空间金字塔人群计数方法,其特征在于,所述步骤5将D2得到的特征图输入由一系列空洞卷积组成的解码结构,从而生成最终的密度图,将密度图进行积分操作,就能得到网络预测的个体数,具体包括:E1:将D2步骤中融合浅层和深层的特征输入一系列由空洞卷积组成的解码器,能够得到最终的密度图。

E2:具体来说,解码器由六层空洞卷积和一层1×1卷积组成,其中空洞卷积结构都是卷积核3×3且空洞率为2,不同的是通道数不断变小,依次是512、512、512、256、128、64。最后的通道数为64的特征图经过1×1的卷积层降维到1,就得到了最终的密度图。

E3:为了得到网络对密集人群图像预测的人数,只需要把密度图进行积分操作即可。