1.一种多模态人群计数方法,其特征在于,所述方法包括:
获取图像,并提取所述图像的图像特征,所述图像包括可见光模态图像和热红外模态图像;
将所述可见光模态图像和所述热红外模态图像的图像特征逐层级的通过空间频率引导模块中的空间频率注意力生成目标注意图;
将各层级的所述可见光模态图像和所述热红外模态图像的图像特征以及所述目标注意图通过自适应动态融合模块进行融合,得到各多模态融合特征;
将各多模态融合特征通过多尺度渐进融合模块,完成由深层特征到浅层特征的渐进融合过程,生成预测密度图,其中,所述多尺度渐进融合模块由空洞空间金字塔池化和SwinTransformer Block构成;
所述自适应动态融合模块由前景增强、交叉注意力和动态赋权三个部分组成,所述前景增强的实现过程表示为:其中,表示逐元素加法操作,表示逐元素乘法操作,表示可见光模态第层级的增强后特征,表示热红外模态第层级的增强后特征;
所述交叉注意力的实现过程表示为:
其中,Kr、Vr、Qr为三个向量,表示1×1卷积,和分别表示转置后的、向量,表示为了降低计算开销缩减后的特征通道数,表示Softmax激活函数,和分别表示经过交互学习后的可见光模态特征和热红外模态特征;
所述动态赋权的实现过程表示为:
其中,表示将两种不同模态特征进行通道拼接后的聚合特征,和分别表示经过1×1卷积和Softmax激活函数生成的可见光模态和热红外模态的特征融合权重。
2.根据权利要求1所述的多模态人群计数方法,其特征在于,所述空间频率注意力由空间域注意力和频率域注意力组成,将空间域注意力的处理结果和频率域注意力的处理结果进行融合,得到最终的目标注意图。
3.根据权利要求2所述的多模态人群计数方法,其特征在于,所述将空间域注意力的处理结果和频率域注意力的处理结果进行融合,得到最终的目标注意图的步骤中,空间域注意力的实现过程表示为:其中,表示输入特征,表示1×1卷积,表示Sigmoid激活函数,表示生成的空间注意力权重,表示逐元素乘法,表示经空间域注意力增强后的特征;
频率域注意力的实现过程表示为:
其中,表示二维离散余弦变换函数,表示全连接层,表示ReLU修正线性单元,表示生成的通道注意力权重,表示经频率域注意力增强后的特征;
融合的实现过程表示为:
其中,表示逐元素加法操作,表示经过1×1卷积、批量归一化和ReLU修正线性单元操作,表示经过1×1卷积、批量归一化和Sigmoid激活操作,表示所述目标注意图。
4.根据权利要求3所述的多模态人群计数方法,其特征在于,所述空间频率引导模块的实现过程表示为:其中,表示空间频率注意力,表示生成的可见光模态注意力图,表示生成的热红外模态注意力图,表示逐元素取最大值运算,表示最终生成的指导第层级多模态特征进行融合的注意力图。
5.根据权利要求4所述的多模态人群计数方法,其特征在于,所述将各层级的所述可见光模态图像和所述热红外模态图像的图像特征以及所述目标注意图通过自适应动态融合模块进行融合,得到各多模态融合特征的步骤中,融合过程表示为:其中,表示主干网络第层级输出的多模态融合特征。
6.根据权利要求5所述的多模态人群计数方法,其特征在于,所述将各多模态融合特征通过多尺度渐进融合模块,完成由深层特征到浅层特征的渐进融合过程,生成预测密度图的步骤中,生成过程表示为:其中,表示空洞空间金字塔池化,表示2倍上采样,表示两个张量的维度拼接,表示Swin Transformer Block,表示主干网络第层级输出的多模态融合特征图。
7.一种多模态人群计数系统,其特征在于,用于实现如权利要求1-6任一项所述的多模态人群计数方法,所述系统包括:获取模块,用于获取图像,并提取所述图像的图像特征,所述图像包括可见光模态图像和热红外模态图像;
目标注意图生成模块,用于将所述可见光模态图像和所述热红外模态图像的图像特征逐层级的通过空间频率引导模块中的空间频率注意力生成目标注意图;
融合模块,用于将各层级的所述可见光模态图像和所述热红外模态图像的图像特征以及所述目标注意图通过自适应动态融合模块进行融合,得到各多模态融合特征;
预测密度图生成模块,用于将各多模态融合特征通过多尺度渐进融合模块,完成由深层特征到浅层特征的渐进融合过程,生成预测密度图,其中,所述多尺度渐进融合模块由空洞空间金字塔池化和Swin Transformer Block构成。
8.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-6任一项所述的多模态人群计数方法。
9.一种电子设备,其特征在于,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如权利要求1-6任一项所述的多模态人群计数方法。