欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025112559768
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于三域特征学习的密集运动红外小目标检测方法,其特征在于,所述方法包括:获取待测红外视频,其中,所述待测红外视频包括N张连续的红外视频帧,N为正整数;

将所述待测红外视频输入至预先训练好的密集运动红外小目标检测模型,得到检测结果,其中,所述检测结果包括红外小目标的检测边界框、检测边界框高斯分布、检测分类和检测概率,所述密集运动红外小目标检测模型包括骨干网络、空间特征提取模块、频域特征提取模块、时间特征提取模块、融合增强网络和检测头,所述骨干网络的输入端用以输入待测红外视频,所述骨干网络的输出端分别与所述空间特征提取模块的输入端、所述频域特征提取模块的输入端和所述时间特征提取模块的输入端连接,所述空间特征提取模块、所述频域特征提取模块和所述时间特征提取模块的输出端均与所述融合增强网络的输入端连接,所述融合增强网络包括第一融合增强模块、第二融合增强模块和第三融合增强模块,所述空间特征提取模块和所述频域特征提取模块的输出端均与所述第一融合增强模块的输入端连接,所述频域特征提取模块和所述时间特征提取模块的输出端均与所述第二融合增强模块的输入端连接,所述第一融合增强模块和所述第二融合增强模块的输出端均与所述第三融合增强模块的输入端连接,所述第三融合增强模块的输出端与所述检测头的输入端连接,所述检测头用以输出检测结果。

2.根据权利要求1所述的密集运动红外小目标检测方法,其特征在于,所述密集运动红外小目标检测模型的训练过程包括:获取训练数据集,其中,所述训练数据集包括训练红外视频及所述训练红外视频中每一红外视频帧对应的标记结果,所述训练红外视频包括N张连续的红外视频帧,所述标记结果包括红外小目标的真实边界框、真实边界框高斯分布、真实分类和真实概率;

将所述训练数据集中的训练红外视频输入至所述密集运动红外小目标检测模型,得到预测结果,其中,所述预测结果包括红外小目标的预测边界框、预测边界框高斯分布、预测分类和预测概率;

根据所述预测边界框、所述预测边界框高斯分布、所述真实边界框和所述真实边界框高斯分布构建边界回归损失函数,根据所述预测分类和所述真实分类构建分类损失函数,根据所述真实概率和所述预测概率构建目标概率损失函数,根据输入检测模型的训练红外视频构建前向光流损失函数和后向光流损失函数,根据所述边界回归损失函数、所述分类损失函数、所述目标概率损失函数、所述前向光流损失函数和所述后向光流损失函数构建检测模型损失函数;

根据所述检测模型损失函数对所述密集运动红外小目标检测模型进行训练,得到训练好的密集运动红外小目标检测模型。

3.根据权利要求2所述的密集运动红外小目标检测方法,其特征在于,所述将所述训练数据集中的训练红外视频输入至所述密集运动红外小目标检测模型,包括:利用所述骨干网络对所述训练红外视频中每一红外视频帧进行特征提取,得到红外特征图组,其中,所述红外特征图组包括N张红外特征图;

利用所述空间特征提取模块对所述红外特征图组进行空间特征提取,得到空间特征图;

利用所述频域特征提取模块对所述红外特征图组中每一红外特征图进行频率特征提取,得到频率特征图组,其中,所述频率特征图组包括N张频率特征图;

利用所述时间特征提取模块对所述红外特征图组进行时间特征提取,得到时间特征图;

利用所述第一融合增强模块根据所述空间特征图和所述频率特征图组生成空间-频率融合特征图,利用所述第二融合增强模块根据所述频率特征图组和所述时间特征图生成时间-频率融合特征图,利用所述第三融合增强模块根据所述空间-频率特征图和所述时间-频率特征图生成空间-时间-频率融合特征图;

利用所述检测头,根据所述空间-时间-频率融合特征图生成所述预测结果。

4.根据权利要求3所述的密集运动红外小目标检测方法,其特征在于,所述骨干网络包括第一分支、第二分支和残差连接层,所述第一分支和所述第二分支均与所述残差连接层连接,其中,所述第一分支包括依次连接的第一卷积单元、第二卷积层、扩张卷积单元、空间注意力层和通道注意力层,所述第一卷积单元包括8个并行的第一卷积层,8个第一卷积层对应卷积核所卷积的方向分别为水平向右、水平向左、垂直向上、垂直向下、右上、左上、右下、左下方向,所述扩张卷积单元包括4个并行的扩张卷积层,所述第二分支包括依次连接的第三卷积层和第四卷积层,所述利用所述骨干网络对所述训练红外视频中每一红外视频帧进行特征提取,包括:分别利用所述第一卷积单元中8个并行的第一卷积层计算所述红外视频帧的中心像素点与边界像素点在对应方向上的灰度差值,得到8张第一特征图;

将8张第一特征图中卷积方向相反的两张特征图逐元素相乘,得到4张差异特征图;

对4张所述差异特征图两两沿垂直反向逐元素相加,得到2张第二特征图;

利用所述第二卷积层对第一拼接特征图进行特征提取,得到初级特征图,其中,第一拼接特征图由2张所述第二特征图拼接得到;

对所述初级特征图与第三特征图进行残差连接处理,得到第四特征图,其中,所述第三特征图由所述第三卷积层从所述红外视频帧提取得到;

分别利用所述扩张卷积单元中4个并行的扩张卷积层对所述第四特征图进行扩张卷积处理,得到4张扩张特征图;

对4张所述扩张特征图进行拼接处理,得到次级特征图;

利用所述空间注意力层对所述次级特征图进行特征提取,得到第五特征图;

利用所述通道注意力层所述第五特征图进行特征提取,得到第六特征图;

利用所述残差连接层对所述第六特征图和第七特征图进行残差连接处理,得到红外特征图,其中,所述第七特征图由所述第四卷积层从所述第三特征图提取得到。

5.根据权利要求3所述的密集运动红外小目标检测方法,其特征在于,所述空间特征提取模块包括第三分支、第四分支和记忆增强子模块,所述第三分支和所述第四分支均与所述记忆增强子模块连接,其中,所述第三分支包括依次连接的第五卷积层、第六卷积层、空间增强子模块、第一嵌入层,所述第四分支包括第二嵌入层,所述利用所述空间特征提取模块对所述红外特征图组进行空间特征提取,包括:对所述红外特征图组中前N-1张红外特征图进行拼接,得到第二拼接特征图;

利用所述第五卷积层对所述第二拼接特征图进行特征提取,得到第八特征图;

将所述第八特征图与所述红外特征图组中第N张视频特征图进行逐元素相乘后与所述红外特征图组中第N张红外特征图进行拼接,得到第三拼接特征图;

利用所述第六卷积层对所述第三拼接特征图进行特征提取,得到初始特征图;

利用所述空间增强子模块对所述初始特征图进行空间增强处理,得到空间增强特征图,其中,所述空间增强子模块包括四个子分支和第七卷积层,四个子分支分别对所述初始特征图进行特征处理,将子分支三和子分支四的处理结果进行残差连接后,利用所述第七卷积层对残差连接结果进行特征提取,并将提取结果与相加结果逐元素相乘,得到空间增强特征图,所述相加结果为子分支一和子分支二处理结果的逐元素相加结果,所述子分支一包括依次连接的第一最大池化层和第一全连接层,所述子分支二包括依次连接的第一平均池化层和第二全连接层,所述子分支三包括通道最大池化层,所述子分支四包括通道平均池化层;

对所述空间增强特征图和所述初始特征图进行逐元素相加,得到局部-全局空间特征;

利用所述第一嵌入层根据所述局部-全局空间特征生成第一键值对,其中,第一键值对包括键和值;

利用所述记忆增强子模块,根据所述第一键值对和第二键值对,得到空间特征图,其中,所述第二键值对由所述第二嵌入层根据所述特征图组中第N张视频特征图生成,所述第二键值对包括键和值,其中,所述记忆增强子模块利用softmax激活函数对键和键的乘积进行归一化处理,将归一化处理得到的相似度与值相乘后与值做残差连接处理,残差连接结果经匹配层处理后得到空间特征图。

6.根据权利要求3所述的密集运动红外小目标检测方法,其特征在于,所述利用所述频域特征提取模块对所述红外特征图组中每一红外特征图进行频率特征提取,包括:采用傅里叶变换将所述红外特征图的特征转换到频域,得到所述红外特征图的频域信息,所述频域信息包括幅值和相位;

利用第一卷积组,根据所述幅值和幅值掩码的乘积,得到幅值特征,其中,所述幅值掩码由依次连接的第八卷积层和第九卷积层对所述幅值和所述相位的拼接结果提取得到;

利用第二卷积组,根据所述相位和相位掩码的乘积,得到相位特征,其中,所述相位掩码由依次连接的第八卷积层和第十卷积层对所述幅值和所述相位的拼接结果提取得到;

采用傅里叶反变换,根据所述幅值特征和所述相位特征,将频域的红外特征图变换到原始定义域,得到频率特征图;其中,所述第一卷积组和所述第二卷积组中的卷积组包括第十一卷积层、第二最大池化层、第二平均池化层、第一深度可分离卷积层和第一逐点卷积层,利用所述十一卷积层对输入乘积进行特征提取,分别利用所述第二最大池化层和第二平均池化层对特征提取结果进行池化处理,对最大池化结果和平均池化结果进行残差接连后,依次利用所述第一深度可分离卷积层和所述第一逐点卷积层对残差接连结果进行处理,得到输出特征,所述输入乘积包括幅值和幅值掩码的乘积、相位和相位掩码的乘积,所述输出特征包括幅值特征和相位特征。

7.根据权利要求3所述的密集运动红外小目标检测方法,其特征在于,所述时间特征提取模块包括依次连接的粗运动估计分支和特征增强分支,所述粗运动估计分支包括依次连接的特征拼接层、第二卷积单元和第十二卷积层,所述特征增强分支包括第十六卷积层、第十七卷积层、第十八卷积层、softmax激活函数、第十九卷积层、第二十卷积层、平摊层和可形变注意力子模块、第二十一卷积层和3D卷积层,所述利用所述时间特征提取模块对所述红外特征图组进行时间特征提取,包括:利用所述特征拼接层分别对所述红外特征图组中相邻两张红外特征图进行前向和后向拼接,得到第一组帧间关系图和第二组帧间关系图,其中,所述第一组帧间关系图和所述第二组帧间关系图均包括四张帧间关系图;

利用所述第二卷积单元分别捕捉所述第一组帧间关系图和所述第二组帧间关系图在不同运动速度下同源点的帧间关系,得到第一帧间关系和第二帧间关系,其中,所述第二卷积单元包括依次连接的第十三卷积层、第一ReLU激活函数、第十四卷积层、第二ReLU激活函数、第十五卷积层和第三ReLU激活函数;

利用所述第十二卷积层分别对所述第一帧间关系和所述第二帧间关系进行特征提取,得到4张前向光流和4张后向光流;将所述前向光流向扭曲后,与前向光流相加得到跨两帧前向光流;

将所述后向光流向扭曲后,与后向光流相加得到跨两帧后向光流;

将所述红外特征图组中每一红外特征图和前向光流、跨两帧前向光流、后向光流、跨两帧后向光流向中间帧对齐,得到对齐特征;

将所述红外特征图组、所述对齐特征、前向光流、跨两帧前向光流、后向光流、跨两帧后向光流进行连接处理,得到连接特征;

利用所述第十六卷积层对所述连接特征进行特征提取,得到第九特征图;

利用所述可形变注意力子模块对采样点偏移量、标准化的注意权值和平摊特征进行处理,得到精细化特征,其中,所述采样点偏移量根据第十特征图和偏移量得到,其中,所述第十特征图由第十七卷积层从所述第九特征图中提取得到,所述偏移量根据前向光流、跨两帧前向光流、后向光流和跨两帧后向光流计算得到,所述标准化的注意权值由经过依次连接的第十卷积层和softmax激活函数对所述第九特征图进行处理得到,所述平摊特征由依次连接的第十九卷积层、所述二十卷积层和平摊层对所述红外特征图组进行处理得到;

利用所述第二十一卷积层对所述精细化特征进行特征提取,得到第十一特征图;

利用所述3D卷积层对所述红外特征图组与所述第十一特征图进行残差连接后的特征进行处理,得到N张第十二特征图;

对N张所述第十二特征图进行残差连接,得到所述时间特征图。

8.根据权利要求3所述的密集运动红外小目标检测方法,其特征在于,所述第一融合增强模块、第二融合增强模块和第三融合增强模块均包括融合增强模块,所述融合增强模块包括依次连接的第二深度可分离卷积层、第二逐点卷积层、协同注意力子模块、门控子模块和批标准化层,所述融合增强模块用于接收第一输入特征图和第二输入特征图,输出融合特征图,所述融合增强模块具体用于:利用依次连接的所述第二深度可分离卷积层和所述第二逐点卷积层对第四拼接特征进行特征提取,得到第十三特征图,其中,所述第四拼接特征由所述第一输入特征图和第二输入特征图沿通道维度拼接得到;

利用所述协同注意力子模块融合所述第十三特征图内部特征,得到十四特征图;

对所述第十三特征图和所述十四特征图进行残差连接处理,得到十五特征图;

利用所述门控子模块生成所述十五特征图的权重值gate;

将第一乘积和第二乘积相加,得到十六特征,其中,所述第一乘积为所述十五特征图和权重值gate的乘积,所述第二乘积为(1-gate)和第四拼接特征的乘积;

利用所述批标准化层对所述十六特征进行处理,得到融合特征图。

9.根据权利要求3所述的密集运动红外小目标检测方法,其特征在于,所述检测模型损失函数为:;

其中,表示检测模型损失函数,表示边界回归损失函数,表示分类损失函数,表示目标概率损失函数,表示前向光流损失函数,表示后向光流损失函数,表示边界回归损失超参数,表示分类损失超参数,表示目标概率损失超参数,表示光流损失超参数;

所述边界回归损失函数为:

;

其中,表示边界回归损失函数,表示交并比超参数,表示交并比损失函数,表示归一化高斯距离超参数,表示归一化高斯距离损失函数,表示预测边界框,表示真实边界框,表示预测边界框与真实边界框的交并比,表示预测边界框高斯分布,表示真实边界框高斯分布,表示常数;

所述分类损失函数为:

;

其中,表示分类损失函数,表示所述训练数据集中训练红外视频的数量,为类别数,为真实分类,为预测分类;

所述目标概率损失函数为:

;

其中,表示目标概率损失函数,表示所述训练数据集中训练红外视频的数量,为真实概率,为预测概率;

所述前向光流损失函数为:

;

其中,表示前向光流损失函数,表示图像的高度,表示图像的宽度,t表示时间帧,表示第帧的第行和第列像素,表示前向真实图像,表示前向估计图像;

所述后向光流损失函数为:

;

其中,表示后向光流损失函数,表示图像的高度,表示图像的宽度,t表示时间帧,表示第帧的第行和第列像素,表示后向真实图像,表示后向估计图像。

10.一种电子设备,包括存储器和处理器,所述存储器上存储有计算机程序,其特征在于,所述计算机程序被所述处理器执行时,实现如权利要求1-9中任一项所述的基于三域特征学习的密集运动红外小目标检测方法。