1.一种基于SDVGNet网络的吸烟行为检测方法,其特征在于,包括以下步骤:
S1:构建包含香烟的图像数据集,收集各种场景中包含香烟的图像,利用LabelImg注释软件将收集得到的香烟的图像制作成PASCALVOC格式的数据集;
S2:数据预处理和数据集划分,对包含香烟的图像数据进行标注,打上吸烟和未吸烟的标签,然后将标注数据划分为训练集、验证集和测试集;
S3:设计SDVGNet网络,在SDVGNet网络中,对输入的包含香烟的图片,首先运用卷积操作和基于注意力机制的特征提取操作,进行特征提取得到包含香烟的特征图,然后运用上采样操作、空间通道细化融合操作和上下文增强操作对包含香烟的特征图进行多尺度特征融合,并把这些特征传递给输出层进行最后的回归预测;
SDVGNet网络用于执行以下步骤:
对输入的包含香烟的图片F,先经过两次卷积操作对其进行下采样得到压缩后的特征图F1;然后应用C3ECA模块进行特征提取得到特征图F2;然后再对得到的特征图进行一次卷积操作并应用C3ECA模块进行特征提取得到特征图F3;然后将特征图F3输入到PCAK模块对其进行特征加强得到特征图F4;然后将特征图F4输入到SMConv模块减少特征图中的冗余特征得到特征图F5;对特征图F5应用上采样操作得到特征图F6;将特征图F2与特征图F6进行一次特征融合操作得到特征图F7;然后将F7输入到SMConv模块减少特征图中的冗余特征得到特征图F8;最后将F8输入到Conv2d模块进行一次二维卷积操作得到最终的吸烟行为检测结果;
S4:网络的训练与验证:在S3设计的SDVGNet网络基础上训练并更新各层的参数,先初始化所有神经网络参数,使用交叉熵损失函数来度量模型预测结果与真实标签之间的差异;然后将S2得到的测试集输入到SDVGNet网络中,通过SDVGNet网络对测试集中图片吸烟行为识别的准确率来评估SDVGNet网络在吸烟行为检测任务中的性能;最后根据验证结果,调整网络的超参数和结构;
S5:将训练好的SDVGNet网络应用到吸烟行为检测任务中。
2.根据权利要求1所述的一种基于SDVGNet网络的吸烟行为检测方法,其特征在于,所述SDVGNet网络执行的步骤包括:
S3.1:捕获包含香烟的特征图局部跨通道信息交互:将包含香烟的特征图输入C3MRA模块,然后分为两路,下路经过一个Conv模块进行1×1的卷积操作,上路经过一个Conv模块进行1×1的卷积操作和一个Bottleneck模块增加感受野并减少计算量,然后将两路结果经过一个Concat模块进行特征融合,最后经过一个Conv模块进行1×1的卷积操作和一个MRA模块捕获局部跨道信息交互;
S3.2:包含香烟的特征图特征增强,PCAK模块利用注意力机制对包含香烟的特征图进行特征增强,将通道注意模块PCAM和空间注意模块PSAM采用并联的方式,在空间和通道上执行注意力机制,沿着通道和空间两个维度分别推断出通道注意力权重和空间注意力权重,然后对这两个注意力权重进行特征融合得到融合通道表示的空间注意力权重,再通过多层感知机得到两个融合通道表示的空间注意力权重并应用sigmoid函数激活,最后把两个融合通道表示的空间注意力权重分别与输入的包含香烟的特征图相乘,再把所得结果相加得到特征增强的包含香烟的特征图;
S3.3:利用SMConv模块来减少包含香烟的特征图冗余特征,在SMConv模块中对于输入的包含香烟的特征图F∈Rc×h×w分为两路,其中c表示特征图F的通道数、h表示特征图F的高度、w表示特征图F的宽度,上路输入到空间重建单元获得空间细化包含香烟的特征图F1,下路输入到通道重建单元获得通道细化包含香烟的特征图F2,然后把空间细化包含香烟的特征图F1和通道细化包含香烟的特征图F2运用特征融合操作进行拼接,再经过多层感知机层得到空间通道细化融合的包含香烟的特征图P和Q,最后把特征图P和Q相加得到空间通道细化融合的包含香烟的特征图K。
3.根据权利要求2所述的一种基于SDVGNet网络的吸烟行为检测方法,其特征在于,S3.1捕获包含香烟的特征图局部跨通道信息交互时的步骤为:S3.1.1:将输入的包含香烟的特征图进行全局最大池化操作,然后进行卷积核大小为M的一维卷积操作,并经过ReLU激活函数得到各个通道的权重ω,如公式如下所示:ω=R(C1DM(x)) (1)
其中ω是通道的权重;R是ReLU激活函数;C1D代表一维卷积,M是卷积核的大小,x是输入的包含香烟的特征图,最后将权重与原始输入的包含香烟的特征图对应元素相乘,得到最终输出包含香烟的特征图。
4.根据权利要求3所述的一种基于SDVGNet网络的吸烟行为检测方法,其特征在于,S3.2包含香烟的特征图特征增强的步骤为:S3.2.1:PCAM的输入为包含香烟的特征图F,维数设置为H×W×C;其中,H、W、C分别为特征图的高度、宽度和通道数,对输入的包含香烟的特征图层分别进行全局L2范数池化和全局最大池化得到两个1×1×C的包含香烟的特征图,再将平均池化和最大池化得到的两个包含香烟的特征图利用共享的全连接层进行处理,然后将共享的全连接层所得到的结果进行相加再使用Sigmoid激活函数进行激活,得到输入的包含香烟的特征图F的通道注意力权重Fc,Fc取值范围为0~1之间,大小为1×1×C;为了有效地计算通道注意力,采用了压缩输入特征映射的空间维度方法,其计算公式如下所示:Fc=σ(MLP(L2Pool(F))+MLP(MaxPool(F))) (2)
式中,σ是Sigmoid激活函数,MLP是全连接层,L2Pool是L2范数池化,MaxPool是最大池化,F是输入的包含香烟的特征图,Fc是包含香烟的特征图F的通道注意力权重;
S3.2.2:PSAM的输入为包含香烟的特征图F,维数设置为H×W×C;其中,H、W、C分别为特征图的高度、宽度和通道数,将其通过最大池化和L2范数池化得到两H×W×1的特征图,然后经过特征图融合操作对两个包含香烟的特征图进行拼接得到H×W×2的特征图,然后通过7×7卷积变为H×W×1的包含香烟的特征图,再经过一个sigmoid函数进行激活得到包含香烟的特征图F的空间注意力权重Fs,Fs取值范围为0~1之间,大小为H×W×1;其计算公式如下所示:Fs=σ(Cov7×7([L2Pool(F)+MaxPool(F)])) (3)
式中,σ是Sigmoid激活函数,Cov7×7是7×7卷积操作,L2Pool是L2范数池化,MaxPool是最大池化,F是输入的包含香烟的特征图,Fs是香烟的特征图F的空间注意力权重;
S3.2.3:将PCAM得到的包含香烟的特征图F的通道注意力权重Fc与PSAM得到的包含香烟的特征图F的空间注意力权重Fs经过一个Concat进行特征融合得到融合通道表示的空间注意力权重Fcs,大小为(H×W+C)×1×1;然后经过一个mlp层得到两个融合通道表示的空间注意力权重和再应用sigmoid函数将融合通道表示的空间注意力权重和激活;
S3.2.4:最后把融合通道表示的空间注意力权重和分别与输入的包含香烟的特征图F相乘得到两个得到融合通道表示的空间注意力加强后的特征图,然后把两个特征图相加得到最终特征增强的特征图FPCAK。
5.根据权利要求3所述的一种基于SDVGNet网络的吸烟行为检测方法,其特征在于,S3.3中减少包含香烟的特征图冗余特征的步骤为:S3.3.1:在空间重建单元中,首先把输入包含香烟的特征图F减去平均值并除以标准偏差来标准化,然后利用归一化(GN)层中的可训练参数γ∈Rc来测量每个批次和通道的空间像素的方差,归一化相关权重Pγ∈Rc由公式(4)获得,S3.3.2:然后通过Sigmoid函数将由Pγ重新加权的包含香烟的特征图的权重值映射到范围(0,1),并通过阈值进行门控,将阈值权重设置为1,得到信息权重P1,将其设置为0,得到非信息权重P2;最后,将输入包含香烟的特征图F分别乘以P1和P2得到两个加权特征:信息量大的包含香烟的特征图和信息量小的包含香烟的特征图S3.3.3:然后对包含香烟的特征图和进行重构操作,首先把包含香烟的特征图拆分为两个通道为原来通道1/2的特征图和然后把包含香烟的特征图拆分为两个通道为原来通道1/2的特征图和然后进行交叉重构,即把和进行特征融合得到FP1;把和进行特征融合得到FP2,最后将交叉重构的包含香烟的特征图FP1和FP2相加,获得空间细化的包含香烟的特征图F1;计算过程如公式(5)所示;
其中,是元素乘法;是元素求和;∪是特征融合;
S3.3.4:在通道重建单元中,对于输入包含香烟的特征图F∈Rc×h×w,首先将F的通道平均分为两部分,通道均为1/2C,随后对两部分使用1×1卷积来压缩包含香烟的特征图的通道以提高其计算效率分别得到Fup和Flow;对Fup分别采用高效的卷积运算GWC和PWC,再把得到的结果相加得到包含香烟的特征图M,以提取高级代表性信息,并降低计算成本;对Flow采用高效的卷积运算PWC,然后把得到的结果与Flow取并集得到包含香烟的特征图N,然后使用简化的SKNet方法自适应合并包含香烟的特征图M和N得到通道细化包含香烟的特征图F2。