欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021104810934
申请人: 广州大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2025-12-24
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于背景提取和多尺度融合网络的人群计数方法,其特征在于,包括以下步骤:通过数据获取模块获取用于网络训练的视频数据集;

构建基于背景提取和多尺度特征融合网络;

对基于背景提取和多尺度特征融合网络进行训练,得到训练后的网络;

通过训练后的网络对视频数据集进行测试,得到测试结果;

根据测试结果对训练后网络进行评估,得到评估结果,进而优化网络权重系数;

将待测视频数据集输入优化后的网络进行人群计数,得到计数结果。

2.根据权利要求1所述的基于背景提取和多尺度融合网络的人群计数方法,其特征在于,所述通过数据获取模块获取用于网络训练的视频数据集,具体为:在人流量密集的地段中设有若干摄像头,通过若干摄像头获取不同角度的人流量图像以及获取密集程度不同的人流量图像;对人流量图像中出现的人进行标注,生成标注文件;

采用7:3的比例将视频数据集随机分为训练集和测试集。

3.根据权利要求2所述的基于背景提取和多尺度融合网络的人群计数方法,其特征在于,所述标注文件中每个人体的像素点位置均用数值1表示,其余像素点位置均用0表示。

4.根据权利要求1所述的基于背景提取和多尺度融合网络的人群计数方法,其特征在于,所述基于背景提取和多尺度特征融合网络包括特征提取模块、人群区域识别模块,并且用结构性损失APLoss作为损失函数;所述基于背景提取和多尺度特征融合网络分为两条分支:第一条分支将图像经过特征提取后获取对应的特征图;第二条分支加入了人群区域识别模块CAM和多尺度特征融合模块ASPP用于帮助神经网络生成更高质量的密度图,实现人群计数功能。

5.根据权利要求4所述的基于背景提取和多尺度融合网络的人群计数方法,其特征在于,

H×W×3

所述特征提取模块,输入待估计人群数量的图像I∈R ,采用VGG16‑BN的前13层作为前端特征映射提取器,提取不仅包含不同层次语义信息的多尺度特征映射也有不同尺度的特征信息;采用UNet结构设计,使得最后输出的特征图能结合高级特征图和低级特征图的内容,得到更大的信息量;

所述人群区域识别模块CAM,在特征提取过程中加入人群区域识别模块CAM作为网络分支,使得人群和背景区域区分开,提高网络的准确性;人群区域识别模块CAM的结构是四层卷积核,输入通道分别是256,128,64以及1,其中卷积核的大小均为3x3,步幅大小均为1;在每两次卷积操作之间均有一次上采样过程,采样率为均2;具体的实现方法是在训练过程中将特征提取过程重点conv2‑2输出的特征图像输入到人群区域识别模块CAM中,经过四层卷积后输出的特征图,通过提前设定的阈值,当密度图像素点的值小于1e‑5的时候则将该像素点设置为0,定为背景;反正则设定为1,定为人群;当网络经过CAM模块便能实现对图像的人群区分;

多尺度特征融合模块ASPP,采用四个级联的空洞卷积,空洞率分别为6,12,18,24;神经网络通过多尺度特征融合模块ASPP结构来提取不同尺度的空间信息,得到一个包含抽象化特征信息的输出,而编码阶段通过融合一个包含足量局部信息,边缘信息的低层特征图来补充细节信息,最后进行预测。

6.根据权利要求5所述的基于背景提取和多尺度融合网络的人群计数方法,其特征在于,所述结构性损失APLoss,在训练过程中需要将输入图像中的标注点通过高斯卷积生成密度图;标注点以原始图像大小相同的全0矩阵np.zeros()表示,遍历标注文件中每一个位置坐标,将矩阵中和人对应的点置为1,最后调用高斯核函数生成密度图并保存成h5py格式的文件;标签矩阵可定义如公式1所示:其中xi表示每个人标注点的位置,具有N个人头的标签可以表示为H(x);这里的x表示为一个二维坐标;然后将标签矩阵与二维高斯核函数进行卷积即可生成密度图,如公式2所示,

F(x)=H(x)*G(x)                 (2)G(x)表示高斯二维卷积核;最后与模型预测得到的密度图进行计算得到相应的损失,进行密度回归估计,其过程如公式3所示,gt est

其中Fi 表示为预测密度图,Fi 表示为标签密度图,L(θ)为欧氏几何距离损失。

7.根据权利要求1所述的基于背景提取和多尺度融合网络的人群计数方法,其特征在于,所述对基于背景提取和多尺度特征融合网络进行训练,得到训练后的网络,具体如下:

1)、利用几何和自适应高斯核来将估计训练图像中每个人头的大小并转换为密度图作为训练监督图;该密度图的积分求和即可得到图像中人群数目;

2)、将收集好的数据集经过预处理,使得图像大小尺寸固定为512x512后输入到神经网络中,利用步密度图作为监督图,以欧式距离作为损失函数进行训练;训练时通过左右翻转图像,增加数据量;

3)、保存训练好的模型;

4)、将低分辨率的视频数据集输入到网络中,重复3)4)步骤;

5)、用训练好的模型对测试视频数据集进行测试,用平均绝对误差MAE和均方误差MSE对网络进行评估。

8.根据权利要求1所述的基于背景提取和多尺度融合网络的人群计数方法,其特征在于,所述通过训练后的网络对视频数据集进行测试,得到测试结果,具体如下:1)、将测试集视频按照30帧进行抽样,提取得到测试图像;

2)、对测试图像进行预处理,使图像大小尺寸固定为512×512;

3)、加载训练好的人群计数训练网络,将经过预处理的测试集图像输入到网络模型中进行处理,生成人群密度图;

4)、对生成的密度图进行二维积分,得到的结果取整数部分即为人群计数结果;其过程如公式(4)所示:

pr

M =∫∫D(x,y)dσ   (4)pr

其中D表示密度图,M 为计数结果;

5)、平均绝对误差MAE和均方误差MSE对网络进行评估;具体公式如公式(5)、(6)所示:其中 表示第i张图像的实际人数, 表示为第i张图像的预测人数。

9.根据权利要求8所述的基于背景提取和多尺度融合网络的人群计数方法,其特征在于,所述将待测视频数据集输入优化后的网络得到密度图;利用公式(4)对密度图进行积分,得到计数结果。

10.基于背景提取和多尺度融合网络的人群计数系统,其特征在于,采用了多尺度融合模块ASPP、背景提取模块CAM对传统的人群计数算法进行改进,得到高精细度的计数效果;

所述基于背景提取和多尺度特征融合网络的人群计数系统包括:摄像头数据获取模块、数据导入模块、数据预处理模块、人群计数网络模块以及结果分析模块;

所述摄像头数据获取模块对指定区域进行拍摄,获取图像数据;

所述数据预处理模块接收通过数据导入模块导入的图像数据并进行处理;即将图像数据进行裁切和归一化转化为人群计数网络可处理的数据;

所述人群计数网络模块接收处理后的数据,采用VGG16‑BN的前13层作为前端特征映射提取器,将Conv2‑2提取的特征经过背景提取模块CAM进行数据处理之后,网络能将更多的注意力分配给人群聚集的地方;将Conv5‑3提取的特征经过多尺度融合模块ASPP,得到多尺度信息;

所述结果分析模块将生成的特征图用Unet网络进行上采样融合的方法生成密度图并进行二维积分,得到图像中的人群总数后进行输出。