1.一种人群计数模型训练方法,其特征在于,所述人群计数模型基于改进的Transformer网络训练得到,所述改进的Transformer网络包括特征提取模块、特征聚合模块以及多尺度感知模块,所述方法包括:获取人群场景图像,并对所述人群场景图像的人群位置进行标注,构建人群计数模型训练用的训练集,并生成所述训练集当中的每一训练图像对应的标签密度图;
将所述训练集当中的训练图像输入到所述特征提取模块当中进行特征提取,得到不同阶层的特征图;
将特征图输入到所述特征聚合模块当中进行网络深层的语义信息和网络浅层的细节信息的聚合,得到聚合特征图;
将所述聚合特征图输入到所述多尺度感知模块当中进行目标区域的多尺度感知,得到预测密度图;
根据所述预测密度图和对应的训练图像的标签密度图计算模型损失,并根据计算得到的模型损失采用反向传播算法对所述改进的Transformer网络的参数进行更新迭代,从而训练得到所述人群计数模型;
其中,所述特征提取模块包括多层特征提取单元,各层所述特征提取单元之间的分辨率大小不同,将所述训练集当中的训练图像输入到所述特征提取模块当中进行特征提取,得到不同阶层的特征图的步骤包括:将所述训练集当中的训练图像依次输入每一层所述特征提取单元当中进行特征提取,得到每层所述特征提取单元提取的特征图,从而得到所述不同阶层的特征图;
则,将特征图输入到所述特征聚合模块当中进行网络深层的语义信息和网络浅层的细节信息的聚合,得到聚合特征图的步骤包括:将预设数量个且由排序在后的特征提取单元提取的特征图输入到所述特征聚合模块当中进行网络深层的语义信息和网络浅层的细节信息的聚合,得到聚合特征图;
其中,所述多尺度感知模块包括相互并联的一条第一多尺度感知支路和多条第二多尺度感知支路,所述第一多尺度感知支路和各所述第二多尺度感知支路之间采用不同的卷积策略,将所述聚合特征图输入到所述多尺度感知模块当中进行目标区域的多尺度感知,得到预测密度图的步骤包括:将所述聚合特征图分别输入到所述第一多尺度感知支路和每条所述第二多尺度感知支路进行卷积处理;
将所有所述第二多尺度感知支路对所述聚合特征图进行卷积处理后的结果进行拼接,再将拼接结果与所述第一多尺度感知支路对所述聚合特征图进行卷积处理后的结果相加,得到多尺度特征图;
采用预设降维算法对所述多尺度特征图进行降维处理,得到所述预测密度图。
2.根据权利要求1所述的人群计数模型训练方法,其特征在于,所述特征提取模块包括四层特征提取单元,四层特征提取单元的分辨率大小从前往后依次为1/4、1/8、1/16和1/
32;
其中,将分辨率大小为1/8、1/16和1/32的特征提取单元提取的特征图输入到所述特征聚合模块当中。
3.根据权利要求2所述的人群计数模型训练方法,其特征在于,所述特征聚合模块的表达式为:FAM
x =Fs2+Conv3(up(Fs3+ Conv3((up(Fs4) ) ) )式中,Fs2、Fs3和Fs4分别代表分辨率大小为1/8、1/16和1/32的特征提取单元提取的特征FAM图,Conv3表示3×3卷积操作,up()表示两倍上采样,x 表示聚合特征图。
4.根据权利要求1所述的人群计数模型训练方法,其特征在于,所述第一多尺度感知支路采用单普通卷积策略,所述第二多尺度感知支路采用普通卷积和空洞卷积串联策略,并且各所述第二多尺度感知支路之间的普通卷积的卷积核大小以及空洞卷积的空洞率不同;
其中,所述聚合特征图输入到所述第一多尺度感知支路时执行单普通卷积处理,所述聚合特征图输入到所述第一多尺度感知支路时依次执行普通卷积和空洞卷积处理。
5.根据权利要求4所述的人群计数模型训练方法,其特征在于,所述第二多尺度感知支路的数量为三条,其对应的普通卷积的卷积核大小分别为1x1、3 x3和5 x5,所述第一多尺度感知支路采用的单普通卷积的卷积核大小为3 x3;
其中,所述预设降维算法为:
MSAM
= Conv3(Conv3(x ) )
MSAM
式中,表示预测密度图,x 表示多尺度特征图,Conv3表示3×3卷积操作。
6.根据权利要求1所述的人群计数模型训练方法,其特征在于,所述模型损失的计算公式为:;
其中, ;
;
式中,D代表标签密度图,表示预测密度图,‖D‖表示向量化的标签密度图,‖‖表示向量化的预测密度图, 表示计数损失, 表示向量的L1范式,λ1和λ2为权重系数,表示最优传输损失, 表示总变化损失,C表示传输成本矩阵,表示D中像素点i到 中像素点j的传输成本矩阵,T表示传输矩阵,Ti, j表示D中像素点i到中像素点j的传输矩阵,U是传输过程中所有可能路径的集合。
7.根据权利要求1所述的人群计数模型训练方法,其特征在于,所述生成所述训练集当中的每一训练图像对应的标签密度图的步骤包括:根据预设转换公式将所述训练集当中的每一训练图像转换为对应的标签密度图;
其中,所述预设转换公式为:
;
式中,D代表标签密度图,x代表训练图像中的每个像素点坐标,xi代表训练图像当中的第i个人头中心点坐标,Gσ代表高斯核函数,m代表第m个人,M代表训练图像中包含的人数,δ(x‑xi)表示脉冲函数。
8.一种人群计数模型训练系统,其特征在于,所述人群计数模型基于改进的Transformer网络训练得到,所述改进的Transformer网络包括特征提取模块、特征聚合模块以及多尺度感知模块,所述系统包括:训练集制作模块,用于获取人群场景图像,并对所述人群场景图像的人群位置进行标注,构建人群计数模型训练用的训练集,并生成所述训练集当中的每一训练图像对应的标签密度图;
模型训练模块,用于将所述训练集当中的训练图像输入到所述特征提取模块当中进行特征提取,得到不同阶层的特征图;将特征图输入到所述特征聚合模块当中进行网络深层的语义信息和网络浅层的细节信息的聚合,得到聚合特征图;将所述聚合特征图输入到所述多尺度感知模块当中进行目标区域的多尺度感知,得到预测密度图;根据所述预测密度图和对应的训练图像的标签密度图计算模型损失,并根据计算得到的模型损失采用反向传播算法对所述改进的Transformer网络的参数进行更新迭代,从而训练得到所述人群计数模型;
其中,所述特征提取模块包括多层特征提取单元,各层所述特征提取单元之间的分辨率大小不同,所述模型训练模块还用于将所述训练集当中的训练图像依次输入每一层所述特征提取单元当中进行特征提取,得到每层所述特征提取单元提取的特征图,从而得到所述不同阶层的特征图;将预设数量个且由排序在后的特征提取单元提取的特征图输入到所述特征聚合模块当中进行网络深层的语义信息和网络浅层的细节信息的聚合,得到聚合特征图;
其中,所述多尺度感知模块包括相互并联的一条第一多尺度感知支路和多条第二多尺度感知支路,所述第一多尺度感知支路和各所述第二多尺度感知支路之间采用不同的卷积策略,所述模型训练模块还用于将所述聚合特征图分别输入到所述第一多尺度感知支路和每条所述第二多尺度感知支路进行卷积处理;将所有所述第二多尺度感知支路对所述聚合特征图进行卷积处理后的结果进行拼接,再将拼接结果与所述第一多尺度感知支路对所述聚合特征图进行卷积处理后的结果相加,得到多尺度特征图;采用预设降维算法对所述多尺度特征图进行降维处理,得到所述预测密度图。