欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023107816861
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多教师联合指导的跨模态目标跟踪方法,其特征在于,所述方法包括:

分别使用RGB模态数据样本和NIR模态数据样本对第一教师网络和第二教师网络进行训练,得到第一教师特征学习网络和第二教师特征学习网络;

使用包含RGB模态数据和NIR模态数据的混合模态数据样本对学生网络进行训练,并使用第一教师特征学习网络或第二教师特征学习网络对学生网络进行指导,包括在使用所述混合模态数据样本中的RGB模态数据对所述学生网络进行训练时,使用所述第一教师特征学习网络对所述学生网络进行指导;在使用所述混合模态数据样本中的NIR模态数据对所述学生网络进行训练时,使用所述第二教师特征学习网络对所述学生网络进行指导;在训练所述学生网络过程中,所述第一教师特征学习网络和所述第二教师特征学习网络的参数保持不变;并采用如下公式进行约束:s.t. }

式中:是知识蒸馏损失;是教师特征学习网络提取到的特征图;是学生网络提取到的特征图;是第二教师特征学习网络提取到的特征图;是第一教师特征学习网络提取到的特征图;是特征图的行序号;是特征图的列序号;是特征图的宽度;

采用三元组损失函数,将学生网络所提取的特征作为锚,相同模态的教师特征学习网络提取的特征作为正样本,不同模态的教师特征学习网络所提取的特征作为负样本,对所述学生网络的特征进行约束,得到用于进行跨模态目标跟踪的跟踪器。

2.如权利要求1所述的基于多教师联合指导的跨模态目标跟踪方法,其特征在于,所述第一教师网络、所述第二教师网络和所述学生网络均采用基于残差网络ResNet-50的卷积神经网络。

3.如权利要求1所述的基于多教师联合指导的跨模态目标跟踪方法,其特征在于,所述三元组损失函数的公式表示为:式中:是当输入为RGB数据时,学生网络特征和两教师网络特征距离的差值;是当输入为NIR数据时,学生网络特征和两教师网络特征距离的差值;是距离约束损失,当输入为RGB数据时,距离约束损失值为max(DS_R+margin,0),当输入为NIR数据时,距离约束损失值为max(DS_N+margin,0);是当输入为RGB数据时学生网络提取的特征;是当输入为NIR数据时学生网络提取的特征;是当输入为RGB数据时RGB教师网络提取的特征;是当输入为NIR数据时NIR教师网络提取的特征;是L2损失;是常量。

4.一种基于多教师联合指导的跨模态目标跟踪系统,其特征在于,所述系统包括:

第一训练模块,用于分别使用RGB模态数据样本和NIR模态数据样本对第一教师网络和第二教师网络进行训练,得到第一教师特征学习网络和第二教师特征学习网络;

第二训练模块,用于使用包含RGB模态数据和NIR模态数据的混合模态数据样本对学生网络进行训练,并使用第一教师特征学习网络或第二教师特征学习网络对学生网络进行指导;

约束模块,用于采用三元组损失函数,将学生网络所提取的特征作为锚,相同模态的教师特征学习网络提取的特征作为正样本,不同模态的教师特征学习网络所提取的特征作为负样本,对所述学生网络的特征进行约束,得到用于进行跨模态目标跟踪的跟踪器;

所述第二训练模块具体用于:

在使用所述混合模态数据样本中的RGB模态数据对所述学生网络进行训练时,使用所述第一教师特征学习网络对所述学生网络进行指导;

在使用所述混合模态数据样本中的NIR模态数据对所述学生网络进行训练时,使用所述第二教师特征学习网络对所述学生网络进行指导;

在训练所述学生网络过程中,所述第一教师特征学习网络和所述第二教师特征学习网络的参数保持不变;

所述第二训练模块在对所述学生网络进行训练的过程中,采用如下公式进行约束:

s.t. }

式中:是知识蒸馏损失;是教师特征学习网络提取到的特征图;是学生网络提取到的特征图;是第二教师特征学习网络提取到的特征图;是第一教师特征学习网络提取到的特征图;是特征图的行序号;是特征图的列序号;是特征图的宽度。

5.如权利要求4所述的基于多教师联合指导的跨模态目标跟踪系统,其特征在于,所述第一教师网络、所述第二教师网络和所述学生网络均采用基于残差网络ResNet-50的卷积神经网络。

6.如权利要求4所述的基于多教师联合指导的跨模态目标跟踪系统,其特征在于,所述三元组损失函数的公式表示为:式中:是当输入为RGB数据时,学生网络特征和两教师网络特征距离的差值;是当输入为NIR数据时,学生网络特征和两教师网络特征距离的差值;是距离约束损失,当输入为RGB数据时,距离约束损失值为max(DS_R+margin,0),当输入为NIR数据时,距离约束损失值为max(DS_N+margin,0);是当输入为RGB数据时学生网络提取的特征;是当输入为NIR数据时学生网络提取的特征;是当输入为RGB数据时RGB教师网络提取的特征;是当输入为NIR数据时NIR教师网络提取的特征;是L2损失;是常量。