欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024116914497
申请人: 东北电力大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于改进YOLOv8n的拥挤场景行人检测方法,其特征在于,具体包括以下步骤:步骤1:获取拥挤场景行人图像,形成第一数据集;所述第一数据集中的图像可通过网络进行收集获取、数码相机进行拍摄、或者从监控视频中获取;

步骤2:为所述第一数据集中的图像添加标注信息,形成第二数据集,并将所述第二数据集划分训练集、验证集和测试集;

步骤3:构建基于改进YOLOv8n的拥挤场景行人检测模型,所述模型包括主干网络,特征融合网络DCPAN和头部网络,所述模型的构建进一步包括步骤3.1至步骤3.3:步骤3.1:所述主干网络由依次连接的卷积层1、卷积层2、C2f模块1、卷积层3、C2f模块2、卷积层4、C2f模块3、卷积层5、C2f模块4和SPPF模块组成;

将所述第二数据集中的训练集和验证集作为所述主干网络的输入;

所述主干网络通过C2f模块1、C2f模块2、C2f模块3和SPPF模块分别输出4种不同尺度的特征信息;

步骤3.2:所述特征融合网络DCPAN,在YOLOv8n颈部网络的基础上,增加了卷积层7、卷积层8、卷积层9和新的特征尺度融合层,并使用DiFPN模块替换YOLOv8n颈部网络的Concat模块;

所述新的特征尺度融合层,依次由卷积层6、上采样1、DiFPN模块3、C2f模块7、卷积层10组成;

所述SPPF模块的输出作为所述卷积层9的输入,所述卷积层9的输出传输至自顶向下的路径中,同时,所述卷积层9横向跨越连接至自底向上路径中的DiFPN模块6;

所述C2f模块3的输出作为所述卷积层8的输入,所述卷积层8的输出作为DiFPN模块2的输入,同时,所述卷积层8横向跨越连接至自底向上路径中的DiFPN模块5;

所述C2f模块2的输出作为所述卷积层7的输入,所述卷积层7的输出作为DiFPN模块1的输入,同时,所述卷积层7横向跨越连接至自底向上路径中的DiFPN模块4;

所述C2f模块1的输出作为所述卷积层6的输入,所述卷积层6横向跨越连接至自底向上路径中的DiFPN模块3,同时,上采样1的输出也作为DiFPN模块3的输入;所述DiFPN模块3的输出作为C2f模块7的输入,所述C2f模块7的输出作为卷积层10的输入,所述卷积层10的输出作为DiFPN模块4的输入;

所述DiFPN模块1、DiFPN模块2、DiFPN模块3和DiFPN模块6有2个输入,有2个输入的DiFPN模块包含2个DCNv4模块和1个加权融合模块;DiFPN模块4和DiFPN模块5有3个输入,有3个输入的DiFPN模块包含3个DCNv4模块和1个加权融合模块;

步骤3.3:所述头部网络包括4个检测头;将C2f模块10的输出作为检测头4的输入;将C2f模块9的输出作为检测头3的输入;将C2f模块8的输出作为检测头2的输入;将C2f模块7的输出作为检测头1的输入;

步骤4:采用所述训练集和验证集对所述基于改进YOLOv8n的拥挤场景行人检测模型进行训练,将训练好的模型保存为最优模型;所述基于改进YOLOv8n的拥挤场景行人检测模型训练过程,进一步包括步骤4.1至步骤4.4:步骤4.1:设置所述基于改进YOLOv8n的拥挤场景行人检测模型训练参数;

模型训练参数包括:迭代轮数、批次大小、优化器、学习率、动量、权重衰减和线程数;

步骤4.2:将所述训练集和验证集以及对应标签输入到所述基于改进YOLOv8n的拥挤场景行人检测模型中,使用反向传播算法计算损失函数对模型参数的梯度;

步骤4.3:使用优化器来更新模型参数,使其朝着梯度下降的方向更新;直到训练集和验证集的损失函数不再下降,同时准确率P、召回率R、mAP评价指标也不再提高;

步骤4.4:将训练好的模型参数保存为最优模型;

步骤5:采用所述测试集对所述最优模型进行测试,对测试集的测试结果进行客观评价指标评估,满足精度要求,获得最终的基于改进YOLOv8n的拥挤场景行人检测模型。

2.根据权利要求1所述的基于改进YOLOv8n的拥挤场景行人检测方法,其特征在于,所述有2个输入的DiFPN模块和所述有3个输入的DiFPN模块的内部流程进一步包括步骤3.2.1至步骤3.2.7:步骤3.2.1:所述有2个输入的DiFPN模块,输入特征图分别是特征图X0和特征图X1;将所述特征图X0和特征图X1分别输入到所述有2个输入的DiFPN模块中的2个DCNv4模块;

所述有3个输入的DiFPN模块,输入特征图分别是特征图X0、特征图X1和特征图X2;将所述特征图X0、特征图X1和特征图X2分别输入到所述有3个输入的DiFPN模块中的3个DCNv4模块;

步骤3.2.2:所述DCNv4模块使用1个卷积层来预测输入特征图中每个像素位置的偏移量;

步骤3.2.3:根据所述偏移量动态调整采样点的位置,对于每个卷积核的位置(i,j),计算出新的采样位置(,):(1)

公式(1)中,offset(i,j)是预测的偏移量;

步骤3.2.4:对有2个输入的DiFPN模块,特征图X0、特征图X1和offset共同作为可变形卷积层的输入,最后,生成2个变形后的特征图和;

对有3个输入的DiFPN模块,特征图X0、特征图X1、特征图X2和offset共同作为可变形卷积层的输入,最后,生成3个变形后的特征图、和;

步骤3.2.5:对有2个输入的DiFPN模块,将所述变形后的2个特征图和输入到加权融合模块,根据和的重要性,为其分配权重W0和W1,将与其权重W0相乘,将与其权重W1相乘,并将所述加权后的特征图相加得出加权和,加权和的计算公式为:(2)

公式(2)中,O为加权融合后的输出特征,Wi为权重,为DCNv4输出特征,i=0,1;

对有3个输入的DiFPN模块,将所述变形后的3个特征图、和输入到加权融合模块,根据、和的重要性,为其分配权重W0、W1和W2,将与其权重W0相乘,将与其权重W1相乘,将与其权重W2相乘,并将所述加权后的特征图相加得出加权和,加权和的计算公式为:(3)

公式(3)中,O为加权融合后的输出特征,Wi为权重,为DCNv4输出特征,i=0,1,2;

步骤3.2.6:将所述加权和通过Swish激活函数引入非线性特征;

步骤3.2.7:对有2个输入的DiFPN模块,使用1×1的卷积层对所述激活后的特征图进行操作,得到所述有2个输入的DiFPN模块的输出特征图;

对有3个输入的DiFPN模块,使用1×1的卷积层对所述激活后的特征图进行操作,得到有3个输入的DiFPN模块的输出特征图。

3.根据权利要求1所述的基于改进YOLOv8n的拥挤场景行人检测方法,其特征在于,所述步骤3.2中的每一个横向跨越连接的特征融合方法为:对于第i层,根据自顶向下和自底向上的特征传播获取输入该层的第i层特征图和第i+1层特征图,将第i+1层特征图进行上采样,调整到与第i层特征图相同的尺寸,将上采样后的第i+1层特征图与第i层特征图进行加权融合和归一化,得到自顶向下的路径中第i层的中间特征图和自底向上路径中第i层的输出特征图;

所述自顶向下的路径中第i层的中间特征图的特征融合表达式为:

(4)

公式(4)中,ω1表示第i层特征图的权重,ω2表示上采样后的第i+1层特征图的权重,ε是用于防止分母为0的参数,Conv表示特征融合;

所述自底向上的路径中第i层的输出特征图的特征融合表达式为:

(5)

公式(5)中,表示自顶向下的路径中第i-1层的输出特征图,表示将第i-1层的输出特征图进行上采样调整到与第i层特征图相同尺寸,表示输入的第i层特征图的权重,表示自底向上的路径中第i层的中间特征图的权重,表示上采样后的第i-1层特征图的权重。

4.根据权利要求1所述的一种基于改进YOLOv8n的拥挤场景行人检测方法,其特征在于,所述步骤2中,按照预设的比例将所述第二数据集划分为训练集、验证集和测试集。

5.根据权利要求1所述的一种基于改进YOLOv8n的拥挤场景行人检测方法,其特征在于,所述步骤5,进一步包括步骤5.1至步骤5.3:步骤5.1:将所述测试集输入到步骤4所述的最优模型中;

步骤5.2:计算模型性能指标:准确率P、召回率R、平均精度均值mAP具体计算公式如下:(6)

(7)

(8)

(9)

公式(6)至公式(9)中,P为准确率,R为召回率,mAP为所有类别的平均精确率均值,AP为平均精确率,m为行人标签总类别数,TP表示正样本被正确识别为正样本的个数,FP表示负样本被错误识别为正样本的个数,FN表示正样本被错误识别为负样本的个数;

步骤5.3:对测试集的测试结果进行客观评价指标评估,满足精度要求,即获得最终的基于改进YOLOv8n的拥挤场景行人检测模型。