1.一种基于改进YOLOv8n的拥挤场景行人检测方法,其特征在于,基于改进YOLOv8n的拥挤场景行人检测模型EMDC-YOLOv8n包括改进主干网络、特征融合网络DCPAN和改进头部网络;EMDC-YOLOv8n模型的构建进一步包括步骤1至步骤3:步骤1:将待检测的图像输入到所述EMDC-YOLOv8n模型的改进主干网络中,提取不同尺度的特征;
所述改进主干网络由依次连接的卷积层1、卷积层2、C2f模块1、卷积层3、C2f模块2、卷积层4、C2f模块3、卷积层5、C2f模块4、残差EMA模块1和SPPF模块组成;
所述改进主干网络通过C2f模块1、C2f模块2、C2f模块3和SPPF模块分别输出4种不同尺度的特征信息;
步骤2:将步骤1提取的特征输入到所述EMDC-YOLOv8n模型的特征融合网络DCPAN中,进行特征融合;
所述EMDC-YOLOv8n模型的特征融合网络DCPAN,在YOLOv8n颈部网络的基础上,增加卷积层7、卷积层8、卷积层9、残差EMA模块3和新的特征尺度融合层,并使用DiFPN模块替换YOLOv8n颈部网络的Concat模块;
所述新的特征尺度融合层依次由卷积层6、上采样1、DiFPN模块3、C2f模块7、残差EMA模块2和卷积层10组成;
所述SPPF模块的输出作为所述卷积层9的输入,所述卷积层9的输出传输至自顶向下的路径中,同时,所述卷积层9横向跨越连接至自底向上路径中的DiFPN模块6;
所述C2f模块3的输出作为所述卷积层8的输入,所述卷积层8的输出作为DiFPN模块2的输入,同时,所述卷积层8横向跨越连接至自底向上路径中的DiFPN模块5;
所述C2f模块2的输出作为所述卷积层7的输入,所述卷积层7的输出作为DiFPN模块1的输入,同时,所述卷积层7横向跨越连接至自底向上路径中的DiFPN模块4;所述DiFPN模块4的输出作为C2f模块8的输入;所述C2f模块8的输出作为残差EMA模块3的输入;所述残差EMA模块3的输出作为卷积层11的输入;
所述C2f模块1的输出作为所述卷积层6的输入,所述卷积层6横向跨越连接至自底向上路径中的DiFPN模块3,同时,上采样1的输出也作为DiFPN模块3的输入;所述DiFPN模块3的输出作为C2f模块7的输入,所述C2f模块7的输出作为残差EMA模块2输入;所述残差EMA模块2输出作为卷积层10的输入,所述卷积层10的输出作为DiFPN模块4的输入;
步骤3:将步骤2中融合后的特征输入到所述EMDC-YOLOv8n模型的改进头部网络中,进行拥挤场景行人检测结果的预测和筛选,得到最终的拥挤场景行人检测的预测结果,实现拥挤场景行人检测;
所述EMDC-YOLOv8n模型的改进头部网络,包括4个ASFF检测头;
ASFF检测头4接收C2f模块10输出的特征图;ASFF检测头3接收C2f模块9输出的特征图;ASFF检测头2接收残差EMA模块3输出的特征图;ASFF检测头1接收残差EMA模块2输出的特征图。
2.根据权利要求1所述的一种基于改进YOLOv8n的拥挤场景行人检测方法,其特征在于,所述步骤1中残差EMA模块,包括1个EMA模块,1个深度可分离卷积和1个1×1的卷积层;所述残差EMA模块的内部流程进一步包括步骤1.1至步骤1.3:步骤1.1:将输入的特征图输入到EMA模块,所述EMA模块输出的特征图,作为深度可分离卷积的输入;将经过深度可分离卷积输出的特征图与经过所述EMA模块输出的特征图聚合;
步骤1.2:将聚合后的结果输入到所述1×1的卷积层中;
步骤1.3:将原始输入的特征图与经过1×1卷积层输出的特征图聚合,得到残差EMA模块的输出特征图。
3.根据权利要求1所述的一种基于改进YOLOv8n的拥挤场景行人检测方法,其特征在于,所述步骤2中残差EMA模块与步骤1中残差EMA模块的结构和内部流程相同。
4.根据权利要求1所述的一种基于改进YOLOv8n的拥挤场景行人检测方法,其特征在于,所述步骤2中的DiFPN模块1、DiFPN模块2、DiFPN模块3和DiFPN模块6有2个输入,有2个输入的DiFPN模块包含2个DCNv4模块和1个加权融合模块;DiFPN模块4和DiFPN模块5有3个输入,有3个输入的DiFPN模块包含3个DCNv4模块和1个加权融合模块;所述有2个输入的DiFPN模块和所述有3个输入的DiFPN模块的内部流程进一步包括步骤2.1至步骤2.7:步骤2.1:所述有2个输入的DiFPN模块,输入特征图分别是特征图X0和特征图X1;将所述特征图X0和特征图X1分别输入到所述有2个输入的DiFPN模块中的2个DCNv4模块;
所述有3个输入的DiFPN模块,输入特征图分别是特征图X0、特征图X1和特征图X2;将所述特征图X0、特征图X1和特征图X2分别输入到所述有3个输入的DiFPN模块中的3个DCNv4模块;
步骤2.2:所述DCNv4模块使用1个卷积层来预测输入特征图中每个像素位置的偏移量;
步骤2.3:根据所述偏移量动态调整采样点的位置,对于每个卷积核的位置(i,j),计算出新的采样位置(, ):(1)
公式(1)中,offset(i,j)是预测的偏移量;
步骤2.4:对有2个输入的DiFPN模块,特征图X0、特征图X1和offset共同作为可变形卷积层的输入,最后,生成2个变形后的特征图和;
对有3个输入的DiFPN模块,特征图X0、特征图X1、特征图X2和offset共同作为可变形卷积层的输入,最后,生成3个变形后的特征图、和;
步骤2.5:对有2个输入的DiFPN模块,将所述变形后的2个特征图和输入到加权融合模块,根据和的重要性,为其分配权重W0和W1,将与其权重W0相乘,将与其权重W1相乘,并将加权后的特征图相加得出加权和,加权和的计算公式为:(2)
公式(2)中,O为加权融合后的输出特征,Wi为权重,为DCNv4输出特征,i=0,1;
对有3个输入的DiFPN模块,将所述变形后的3个特征图、和输入到加权融合模块,根据、和的重要性,为其分配权重W0、W1和W2,将与其权重W0相乘,将与其权重W1相乘,将与其权重W2相乘,并将加权后的特征图相加得出加权和,加权和的计算公式为:(3)
公式(3)中,O为加权融合后的输出特征,Wi为权重,为DCNv4输出特征,i=0,1,2;
步骤2.6:将所述加权和通过Swish激活函数引入非线性特征;
步骤2.7:对有2个输入的DiFPN模块,使用1×1的卷积层对激活后的特征图进行操作,得到所述有2个输入的DiFPN模块的输出特征图;
对有3个输入的DiFPN模块,使用1×1的卷积层对激活后的特征图进行操作,得到有3个输入的DiFPN模块的输出特征图。
5.根据权利要求1所述的一种基于改进YOLOv8n的拥挤场景行人检测方法,其特征在于,所述步骤2中的每一个横向跨越连接的特征融合方法为:对于第i层,根据自顶向下和自底向上的特征传播获取输入该层的第i层特征图和第i+1层特征图,将第i+1层特征图进行上采样,调整到与第i层特征图相同的尺寸,将上采样后的第i+1层特征图与第i层特征图进行加权融合和归一化,得到自顶向下的路径中第i层的中间特征图和自底向上路径中第i层的输出特征图;
所述自顶向下的路径中第i层的中间特征图的特征融合表达式为:
(4)
公式(4)中,ω1表示第i层特征图的权重,ω2表示上采样后的第i+1层特征图的权重,ε是用于防止分母为0的参数,Conv表示特征融合;
所述自底向上的路径中第i层的输出特征图的特征融合表达式为:
(5)
公式(5)中,表示自顶向下的路径中第i-1层的输出特征图,表示将第i-1层的输出特征图进行上采样调整到与第i层特征图相同尺寸,表示输入的第i层特征图的权重,表示自底向上的路径中第i层的中间特征图的权重,表示上采样后的第i-1层特征图的权重。
6.根据权利要求1所述一种基于改进YOLOv8n的拥挤场景行人检测方法,其特征在于,所述步骤3的改进头部网络包括4个ASFF检测头;其中,每个ASFF检测头都包含恒等缩放、自适应融合、1个ASFF层和1个检测头;所述改进头部网络的内部流程进一步包括步骤3.1至步骤3.4:步骤3.1:改进头部网络接收特征融合网络DCPAN输出的4个不同尺度的特征层;所述4个不同尺度的特征层分别为:C2f模块10输出的特征图,C2f模块9输出的特征图,残差EMA模块3输出的特征图和残差EMA模块2输出的特征图;
步骤3.2:将所述4个不同尺度的特征层进行恒等缩放;
步骤3.3:将所述恒等缩放后的特征进行自适应融合得到4个ASFF层,分别对应ASFF层1、ASFF层2、ASFF层3和ASFF层4;每个检测头得到的特征都具有相同的分辨率和信道数量,在l级特征层上自适应融合的特征,自适应融合的方法为:(6)
公式(6)中,表示特征图yl在(i,j)处的输出,表示从n到l的特征映射(i,j)位置的特征向量,、、、为4个层级特征图的可学习权重系数,满足以下关系式:(7)
(8)
(9)
(10)
(11)
公式(7)至公式(11)中,e为欧拉数;使用1×1卷积层分别从、、和计算出加权标量映射、、、,通过标准的反向传播来学习它们,、、、分别用、、、作为控制参数,用Softmax函数定义;
步骤3.4:将所述ASFF层1的输出特征图输入到检测头1中;将所述ASFF层2的输出特征图输入到检测头2中;将所述ASFF层3的输出特征图输入到检测头3中;将所述ASFF层4的输出特征输入到检测头4中。
7.根据权利要求2所述的一种基于改进YOLOv8n的拥挤场景行人检测方法,其特征在于,步骤1.1中的EMA模块的内部流程包括步骤1.1.1至步骤1.1.6:步骤1.1.1:EMA模块将输入特征图分为g个子特征,学习不同的语义信息;
步骤1.1.2:将所述g个子特征采用3条并行路径提取分组特征图的注意力权重描述符;所述3条并行路径的第1条路径和第2条路径通过1×1分支路由,所述3条并行路径的第3条路径采用3×3分支;
步骤1.1.3:所述1×1分支中存在两个全局平均池化操作,分别沿着2个空间方向对通道编码,并对2个编码特征进行连接,使其在1×1分支中维度不变;
步骤1.1.4:将所述连接的特征经过逐点卷积后重新分解为2个向量,通过简单的乘法将2个通道注意力聚合,实现1×1分支中2条平行路径之间的跨通道交互;
步骤1.1.5:在3×3分支中使用单个3×3卷积捕获局部跨通道交互以扩大特征空间,使用全局平均池化对2条分支输出的全局空间信息进行编码;
步骤1.1.6:并行路线的输出特征经过矩阵点积运算转为2个空间注意力权重的聚合,经Sigmoid函数后得到输出特征图。