欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024102702977
申请人: 通友(江西)网络技术有限公司
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种多模态人群计数模型训练方法,其特征在于,所述方法应用于改进后的Swin Transfomer网络,改进后的Swin Transformer网络包含RGB编码器、Thermal编码器、RGBT融合模块、自蒸馏学习模块以及多尺度回归模块,所述RGB编码器以及所述Thermal编码器均包括多层特征提取单元,各层所述特征提取单元之间具有不同大小的分辨率;RGBT融合模块采用通道注意力机制和空间注意力机制以融合RGB信息和Thermal信息;自蒸馏学习模块用于促进网络深浅层之间的特征交互以促进多模态特征融合;多尺度回归模块采用不同大小的标准卷积和空洞卷积以增强网络的多尺度信息提取能力;

所述方法包括:

获取人群场景图像,所述人群场景图像包括RGB图像和Thermal图像,并对所述人群场景图像的人群位置进行标注以获得多组训练图像,根据多组训练图像构建人群计数模型训练使用的训练集,并生成所述训练集中的每一组训练图像所对应的标签密度图;

对所述RGB图像以及所述Thermal图像分别送入RGB编码器与Thermal编码器以进行特n n征提取,分别得到不同阶段的RGB特征图F RGB和Thermal特征图F T,其中,n∈{1,2,3,4},将n n每一阶段得到的RGB特征图F RGB和Thermal特征图F T分别送入对应阶段的RGBT融合模块进n n 1 2 3行多模态特征融合以得到融合后的特征F RGBT,融合后的特征F RGBT包括F RGBT、F RGBT、F RGBT和4

F RGBT;

2 3 4 a

将F RGBT、F RGBT以及F RGBT送入自蒸馏学习模块进行自蒸馏学习,并计算自蒸馏损失L1 和b 2 3 4L1;将F RGBT、F RGBT以及F RGBT送入多尺度回归模块进行特征聚合和目标区域的多尺度感知并进行人数预测,最终得到预测密度图;

根据所述预测密度图和对应训练图像的标签密度图计算贝叶斯损失Lbayes,根据所述贝叶斯损失Lbayes计算得到网络整体损失函数Ldensity,以根据所述网络整体损失函数Ldensity计算得到损失,所述网络整体损失函数Ldensity是贝叶斯损失和自蒸馏损失的加权组合,将计算得到的损失进行反向传播以更新模型参数,根据更新后的模型参数训练得到多模态人群计数模型;

n n

其中,在将每一阶段得到的RGB特征图F RGB和Thermal特征图F T分别送入对应阶段的nRGBT融合模块进行多模态特征融合以得到融合后的特征F RGBT的步骤中,RGBT融合模块进行多模态特征融合的方法包括:n n

将输入特征F RGB和F T进行通道拼接,通过一个通道注意力并利用一个Sigmoid激活函n n n n数对通道拼接后的F RGB和F T进行切片,分别得到F RGB和F T在通道域上的注意力图;

n n

再将F RGB和F T与各自对应的注意力图进行相乘,分别得到 和 ,以完成在通道域上的特征增强;

将 和 分别在空间域上进行注意力增强并进行通道拼接,再使用一个Softmax激活函数进行激活,并进行切片,分别得到 和 在空间域上的注意力图,再令 和 与各自对应的注意力图相乘,分别得到 和 ,以完成在空间域上的注意力增强,最后将 和 进行对应元素相加,最终得到融合后的特征n

F RGBT。

2.根据权利要求1所述的多模态人群计数模型训练方法,其特征在于,对所述RGB图像以及所述Thermal图像分别送入RGB编码器与Thermal编码器以进行特征提取,分别得到不n n同阶段的RGB特征图F RGB和Thermal特征图F T的步骤包括:对于训练集当中的一组训练图像,将其中的RGB图像送入RGB编码器的特征提取单元中进行特征提取,得到每层提取单元提取的特征图,从而得到不同阶段的RGB特征图;

对于训练集当中的一组训练图像,将其中的Thermal图像送入Thermal编码器的特征提取单元进行特征提取,得到每层提取单元提取的特征图,从而得到不同阶段的Thermal特征图。

2 3

3.根据权利要求1所述的多模态人群计数模型训练方法,其特征在于,将F RGBT、F RGBT以4

及F RGBT送入多尺度回归模块进行特征聚合和目标区域的多尺度感知并进行人数预测的步骤包括:

3 4 2

F RGBT和F RGBT分别使用一个2倍上采样和4倍上采样,使得分辨率大小与F RGBT匹配,再对

2 3 4

F RGBT、F RGBT和F RGBT三者均使用一个3×3卷积调整特征通道数,使三者分辨率和通道数保持一致,并进行特征相加;

将相加后的结果送入一个四分支结构,四分支结构中的四条分支结构均由不同大小的标准卷积和空洞卷积组成,卷积核大小分别为1×1,3×3,5×5和7×7,空洞卷积的空洞率分别为1, 3, 5, 7;

将四条分支的结果进行通道拼接,再通过一个3×3卷积和一个1×1卷积进行降维和密度图回归,获得图像中人数的预测结果。

4.根据权利要求1所述的多模态人群计数模型训练方法,其特征在于,贝叶斯损失Lbayes的计算公式为:;

式中,N是注释点的数量,cn是每个注释点的真实人数,E[cn]是该注释点的期望人数,L1表示L1距离函数。

5.根据权利要求1所述的多模态人群计数模型训练方法,其特征在于,网络整体损失函数Ldensity的计算公式为:a b

Ldensity=Lbayes+λ1﹒L1+λ2﹒L1,其中λ1和λ2为可调整的超参数;

a 2 4 b 3 4

其中,L1为FRGBT与FRGBT之间的自蒸馏损失;L1为表示FRGBT与FRGBT之间的自蒸馏损失。

6.一种多模态人群计数模型训练系统,其特征在于,所述系统执行上述权利要求1‑5任意一项所述的多模态人群计数模型训练方法,所述系统包括:获取模块,用于获取人群场景图像,所述人群场景图像包括RGB图像和Thermal图像,并对所述人群场景图像的人群位置进行标注以获得多组训练图像,根据多组训练图像构建人群计数模型训练使用的训练集,并生成所述训练集中的每一组训练图像所对应的标签密度图;

特征融合模块,用于对所述RGB图像以及所述Thermal图像分别送入RGB编码器与n nThermal编码器以进行特征提取,分别得到不同阶段的RGB特征图F RGB和Thermal特征图F T,n n其中,n∈{1,2,3,4},将每一阶段得到的RGB特征图F RGB和Thermal特征图F T分别送入对应n n阶段的RGBT融合模块进行多模态特征融合以得到融合后的特征F RGBT,融合后的特征F RGBT

1 2 3 4

包括F RGBT、F RGBT、F RGBT和F RGBT;

2 3 4

预测模块,用于将F RGBT、F RGBT以及F RGBT送入自蒸馏学习模块进行自蒸馏学习,并计算a b 2 3 4自蒸馏损失L1和L1;将F RGBT、F RGBT以及F RGBT送入多尺度回归模块进行特征聚合和目标区域的多尺度感知并进行人数预测,最终得到预测密度图;

更新模块,用于根据所述预测密度图和对应训练图像的标签密度图计算贝叶斯损失Lbayes,根据所述贝叶斯损失Lbayes计算得到网络整体损失函数Ldensity以根据所述网络整体损失函数Ldensity计算得到损失,所述网络整体损失函数Ldensity是贝叶斯损失和自蒸馏损失的加权组合,将计算得到的损失进行反向传播以更新模型参数,根据更新后的模型参数训练得到多模态人群计数模型。

7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5任一所述的多模态人群计数模型训练方法。

8.一种数据处理设备,包括存储器、处理器以及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-5任一所述的多模态人群计数模型训练方法。