欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023113495393
申请人: 华侨大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种红外目标识别方法, 其特征在于,包括:

获取红外摄像机采集到的红外图片数据集,其中,所述红外图片数据集中的红外图片的图像张量为 ,为同批次输入图像数量,为通道数,为高度, 为宽度;

获取红外摄像机采集到的红外图片训练数据集和拍摄摄像头采集到的可见光数据集,并采用Mosaic数据增强技术对所述红外图片训练数据集和所述可见光数据集进行处理;

建立一个基础YOLOv5模型,调用所述基础YOLOv5模型的骨干网络Backbone中的Focus模块对所述红外图片训练数据集和所述可见光数据集进行切片处理;

调用所述基础YOLOv5模型的骨干网络Backbone中的CSP网络模块对切片处理后的所述红外图片训练数据集和所述可见光数据集进行特征合并处理,并使用多个不同卷积层的多个卷积核对合并后的所述红外图片训练数据集和所述可见光数据集的张量进行卷积运算,生成训练张量;

调用注意力模块对所述训练张量进行过滤处理,生成过滤特征图;

分别调用域自适应组件和目标识别头组件Head对所述过滤特征图进行预处理,以训练所述基础YOLOv5模型区分功能,提升模型对不同尺度目标的跨域识别能力,其中,所述基础YOLOv5模型区分功能是用于区分输入模型的特征张量是属于源域还是属于目标域的,具体为:调用域自适应组件的梯度反转层GRL对所述过滤特征图进行反转处理,并将反转处理后的所述过滤特征图依次经过两个1×1的卷积层和全连接层,生成第一特征张量;

当判断到所述第一特征张量为源域时,输出第一预测类别;

当判断到所述第一特征张量不为源域时,输出第二预测类别;

结合所述目标识别头组件Head根据所述第一预测类别或所述第二预测类别,生成域分类的损失函数和多任务损失函数,其中,所述域分类的损失函数的公式为, 是所述域自适应组件的域分类器对于第i个训练图像的(x,y)处的特征图的域类别预测, 是第i个图像的域标签,当 =0时,其为源域图像,当 =1时,其为目标域图像;

其中,所述多任务损失函数的公式为 , 为多任务损失

函数, 为模型的目标识别训练损失函数, 为模型的域分类损失函数, 为一个常数;

根据训练好的所述基础YOLOv5模型,生成YOLOv5目标识别模型;

调用训练好的YOLOv5目标识别模型对所述红外图片数据集的红外图片进行识别处理,生成输出特征张量和模型识别精度,其中,所述YOLOv5目标识别模型包括骨干网络Backbone、颈网络Neck和目标识别头组件Head,所述目标识别头组件Head包括小目标识别头、中目标识别头和大目标识别头,具体为:调用所述骨干网络Backbone中的Focus模块对所述红外图片的初始张量进行切片处理,生成切片张量;

调用所述骨干网络Backbone中的CSP网络模块对所述切片张量进行特征合并处理,生成合并张量,其中,所述特征合并处理为将所述切片张量的基础层的特征映射划分为两部分,再通过跨阶段层次结构将该两部分合并;

使用多个不同卷积层的多个卷积核对所述合并张量进行卷积运算,生成输出特征张量,其中,所述输出特征张量的大小为 ;

调用所述颈网络Neck中的CSP网络连接结构对所述输出特征张量进行特征融合处理,生成模型识别精度,其中,所述特征融合处理包括计算交并比IOU、类别交叉熵和预测置信度,计算所述模型识别精度的训练损失函数为:其中, 为损失值,损失值越小,精度越高, 为输入图像, 为模型输出的边框位置预测, 为目标框对应的类别预测, 为第一个和第二个损失项的超参数, 为网格的总数, 为第四个损失项的超参数, 为类别总数, 为c属于总数, 为预测值, 为标签, 表示为对象是否出现在单元网格 中, 表示为单元网格 中第 个边框预测器负责该预测, 为目标中心的真实坐标,为模型预测的目标中心坐标, 为真实目标的宽, 为真实目标的高, 为模型预测的目标宽, 为模型预测的目标高, 为真实置信度,当网格区域存在真实目标时,,反之, , 为模型预测的置信度,为类别信息;

调用注意力模块对所述输出特征张量和所述模型识别精度进行过滤处理,生成三个不同尺寸的过滤特征图,其中,所述三个不同尺寸的过滤特征图分别与所述小目标识别头、所述中目标识别头和所述大目标识别头相对应;

所述小目标识别头、所述中目标识别头和所述大目标识别头分别依照对应的不同尺寸的过滤特征图,对待识别物体进行识别。

2.根据权利要求1所述的一种红外目标识别方法,其特征在于,调用注意力模块对所述输出特征张量和所述模型识别精度进行过滤处理,生成三个不同尺寸的过滤特征图,具体为:根据公式 对所述输出

特征张量和所述模型识别精度进行过滤处理,生成所述过滤特征图 ,其中,表示待被过滤的特征图, 表示被过滤后的特征图, 表示特征矩阵之间的逐元素点乘融合, 为5个空间二维1×1卷积;

其中,Softmax操作的计算公式为 , 代表第 个输出值结果,

代表所有输出结果的数量,所述Softmax操作将所有的输出值转化为概率在 之间的值,且所有概率值的总和等于1。

3.一种红外目标识别装置,其特征在于,包括:

图片获取单元,用于获取红外摄像机采集到的红外图片数据集,其中,所述红外图片数据集中的红外图片的图像张量为 ,为同批次输入图像数量,为通道数,为高度, 为宽度;

获取红外摄像机采集到的红外图片训练数据集和拍摄摄像头采集到的可见光数据集,并采用Mosaic数据增强技术对所述红外图片训练数据集和所述可见光数据集进行处理;

建立一个基础YOLOv5模型,调用所述基础YOLOv5模型的骨干网络Backbone中的Focus模块对所述红外图片训练数据集和所述可见光数据集进行切片处理;

调用所述基础YOLOv5模型的骨干网络Backbone中的CSP网络模块对切片处理后的所述红外图片训练数据集和所述可见光数据集进行特征合并处理,并使用多个不同卷积层的多个卷积核对合并后的所述红外图片训练数据集和所述可见光数据集的张量进行卷积运算,生成训练张量;

调用注意力模块对所述训练张量进行过滤处理,生成过滤特征图;

分别调用域自适应组件和目标识别头组件Head对所述过滤特征图进行预处理,以训练所述基础YOLOv5模型区分功能,提升模型对不同尺度目标的跨域识别能力,其中,所述基础YOLOv5模型区分功能是用于区分输入模型的特征张量是属于源域还是属于目标域的,具体为:调用域自适应组件的梯度反转层GRL对所述过滤特征图进行反转处理,并将反转处理后的所述过滤特征图依次经过两个1×1的卷积层和全连接层,生成第一特征张量;

当判断到所述第一特征张量为源域时,输出第一预测类别;

当判断到所述第一特征张量不为源域时,输出第二预测类别;

结合所述目标识别头组件Head根据所述第一预测类别或所述第二预测类别,生成域分类的损失函数和多任务损失函数,其中,所述域分类的损失函数的公式为, 是所述域自适应组件的域分类器对于第i个训练图像的(x,y)处的特征图的域类别预测, 是第i个图像的域标签,当 =0时,其为源域图像,当 =1时,其为目标域图像;

其中,所述多任务损失函数的公式为 , 为多任务损失

函数, 为模型的目标识别训练损失函数, 为模型的域分类损失函数, 为一个常数;

根据训练好的所述基础YOLOv5模型,生成YOLOv5目标识别模型;

目标识别模型单元,用于调用训练好的YOLOv5目标识别模型对所述红外图片数据集的红外图片进行识别处理,生成输出特征张量和模型识别精度,其中,所述YOLOv5目标识别模型包括骨干网络Backbone、颈网络Neck和目标识别头组件Head,所述目标识别头组件Head包括小目标识别头、中目标识别头和大目标识别头,具体为:调用所述骨干网络Backbone中的Focus模块对所述红外图片的初始张量进行切片处理,生成切片张量;

调用所述骨干网络Backbone中的CSP网络模块对所述切片张量进行特征合并处理,生成合并张量,其中,所述特征合并处理为将所述切片张量的基础层的特征映射划分为两部分,再通过跨阶段层次结构将该两部分合并;

使用多个不同卷积层的多个卷积核对所述合并张量进行卷积运算,生成输出特征张量,其中,所述输出特征张量的大小为 ;

调用所述颈网络Neck中的CSP网络连接结构对所述输出特征张量进行特征融合处理,生成模型识别精度,其中,所述特征融合处理包括计算交并比IOU、类别交叉熵和预测置信度,计算所述模型识别精度的训练损失函数为:其中, 为损失值,损失值越小,精度越高, 为输入图像, 为模型输出的边框位置预测, 为目标框对应的类别预测, 为第一个和第二个损失项的超参数, 为网格的总数, 为第四个损失项的超参数, 为类别总数, 为c属于总数, 为预测值, 为标签, 表示为对象是否出现在单元网格 中, 表示为单元网格 中第 个边框预测器负责该预测, 为目标中心的真实坐标,为模型预测的目标中心坐标, 为真实目标的宽, 为真实目标的高, 为模型预测的目标宽, 为模型预测的目标高, 为真实置信度,当网格区域存在真实目标时,,反之, , 为模型预测的置信度,为类别信息;

过滤特征图生成单元,用于调用注意力模块对所述输出特征张量和所述模型识别精度进行过滤处理,生成三个不同尺寸的过滤特征图,其中,所述三个不同尺寸的过滤特征图分别与所述小目标识别头、所述中目标识别头和所述大目标识别头相对应;

物体识别单元,用于所述小目标识别头、所述中目标识别头和所述大目标识别头分别依照对应的不同尺寸的过滤特征图,对待识别物体进行识别。

4.根据权利要求3所述的一种红外目标识别装置,其特征在于,所述过滤特征图生成单元具体用于:根据公式 对所述输出

特征张量和所述模型识别精度进行过滤处理,生成所述过滤特征图 ,其中,表示待被过滤的特征图, 表示被过滤后的特征图, 表示特征矩阵之间的逐元素点乘融合, 为5个空间二维1×1卷积;

其中,Softmax操作的计算公式为 , 代表第 个输出值结果,

代表所有输出结果的数量,所述Softmax操作将所有的输出值转化为概率在 之间的值,且所有概率值的总和等于1。

5.一种红外目标识别设备,其特征在于,包括处理器、存储器以及存储在存储器中且被配置由处理器执行的计算机程序,处理器执行计算机程序时实现如权利要求1至2任意一项所述的一种红外目标识别方法。

6.一种可读存储介质,其特征在于,存储有计算机程序,计算机程序能够被该存储介质所在设备的处理器执行,以实现如权利要求1至2任意一项所述的一种红外目标识别方法。