欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021116715165
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于模态竞争协同网络的可见光红外目标跟踪方法,其特征在于,所述方法包括:

以所要跟踪当前帧的上一帧中目标预测位置为中心,生成第一候选样本集合,所述第一候选样本集合中包括可见光样本和热红外样本;

将所述第一候选样本集合输入至训练好的跟踪模型,得到所述当前帧的目标跟踪结果;

其中,所述跟踪模型包括特征提取网络和目标分类器,所述特征提取网络的输出与所述目标分类器连接;所述特征提取网络包括第一提取网络、第二提取网络和权重分配网络,所述可见光样本和所述热红外样本分别作为所述第一提取网络和所述第二提取网络的输入,所述第一提取网络和所述第二提取网络均包括VGG‑M的前三层卷积层,且每一卷积层中包含N个相同尺寸的卷积核形成卷积核组;所述第一候选样本集合作为所述权重分配网络的输入,所述权重分配网络输出的第一权重组经乘积操作与所述第一提取网络中各所述卷积核组连接后作为所述第一提取网络的输入,所述权重分配网络输出的第二权重组经乘积操作与所述第二提取网络中各所述卷积核组连接后作为所述第二提取网络的输入。

2.如权利要求1所述的基于模态竞争协同网络的可见光红外目标跟踪方法,其特征在于,所述第一提取网络和所述第二提取网络中各所述卷积核组后连接有修正线性单元和局部响应归一化层。

3.如权利要求1所述的基于模态竞争协同网络的可见光红外目标跟踪方法,其特征在于,所述权重分配网络包括全局平均池化层、模态共享全连接层以及模态特定全连接层,所述第一候选样本集合作为所述全局平均池化层的输入,所述全局平均池化层的输出经所述模态共享全连接层以与所述模态特定全连接层的输入连接,所述模态特定全连接层用于输出所述第一权重组和所述第二权重组。

4.如权利要求1所述的基于模态竞争协同网络的可见光红外目标跟踪方法,其特征在于,所述目标分类器包括两个域共享全连接层和一个域特定全连接层,两个所述域共享全连接层连接后与所述域特定全连接层的输入连接,所述域特定全连接层输出作为所述当前帧的目标跟踪结果;

所述域共享全连接层包括依次连接的全连接层、修正线性单元和神经元随机激活函数,所述域特定全连接层包括依次连接的全连接层、神经元随机激活函数和Softmax层。

5.如权利要求1所述的基于模态竞争协同网络的可见光红外目标跟踪方法,其特征在于,在所述将所述第一候选样本集合输入至训练好的跟踪模型,得到所述当前帧的目标跟踪结果之后,还包括:

将所述当前帧的目标跟踪结果作为粗略结果,并基于所述粗略结果判断跟踪是否成功;

若是,则所述粗略结果输入至目标尺寸回归器,并将所述目标尺寸回归器的输出作为所述当前帧的精确跟踪结果,并使用距离所述当前帧最近的m帧中的目标特征来更新个所述目标分类器;

若否,则使用距离所述当前帧最近的n帧中的目标特征来更新所述目标分类器的参数,然后跟踪下一帧中的目标,m>n。

6.如权利要求5所述的基于模态竞争协同网络的可见光红外目标跟踪方法,其特征在于,所述在所述以所要跟踪当前帧的上一帧中目标预测位置为中心,生成第一候选样本集合之前,还包括:

获取所跟踪的可见光‑热红外视频的第一帧,通过所述第一帧中目标的真值框生成第二候选样本集合和目标样本集合;

分别利用所述第二候选样本集合和所述目标样本集合训练所述跟踪模型和所述目标尺寸回归器。

7.如权利要求1所述的基于模态竞争协同网络的可见光红外目标跟踪方法,其特征在于,所述方法还包括:

将所述第一提取网络和所述第二提取网络的输出的特征从通道维度上进行拼接并拉平,输入到所述目标分类器中,得到所述当前帧的目标跟踪结果。

8.如权利要求4所述的基于模态竞争协同网络的可见光红外目标跟踪方法,其特征在于,所述方法还包括:

使用Imagenet‑Vid数据集预训练所述第一提取网络和所述第二提取网络以及所述域共享全连接层的参数作为网络中的预训练参数;

使用高斯分布初始化所述域特定全连接层和所述权重分配网络的参数;

利用已标注好且对齐的可见光‑热红外数据集训练所述跟踪模型,得到训练好的所述跟踪模型。

9.如权利要求8所述的基于模态竞争协同网络的可见光红外目标跟踪方法,其特征在于,所述利用已标注好且对齐的可见光‑热红外数据集训练所述跟踪模型,包括:使用最大值保留和随机卷积核死亡训练所述跟踪模型中的各所述卷积核组合所述目标分类器,得到第一阶段的预训练模型;

加载所述第一阶段的预训练模型,并采用随机构建的训练数据训练所述第一阶段的预训练模型的网络参数。

10.一种基于模态竞争协同网络的可见光红外目标跟踪装置,其特征在于,所述装置包括:

样本生成模块,用于以所要跟踪当前帧的上一帧中目标预测位置为中心,生成第一候选样本集合,所述第一候选样本集合中包括可见光样本和热红外样本;

目标跟踪模块,用于将所述第一候选样本集合输入至训练好的跟踪模型,得到所述当前帧的目标跟踪结果;

其中,所述跟踪模型包括特征提取网络和目标分类器,所述特征提取网络的输出与所述目标分类器连接;所述特征提取网络包括第一提取网络、第二提取网络和权重分配网络,所述可见光样本和所述热红外样本分别作为所述第一提取网络和所述第二提取网络的输入,所述第一提取网络和所述第二提取网络均包括VGG‑M的前三层卷积层,且每一卷积层中包含N个相同尺寸的卷积核形成卷积核组;所述第一候选样本集合作为所述权重分配网络的输入,所述权重分配网络输出的第一权重组经乘积操作与所述第一提取网络中各所述卷积核组连接后作为所述第一提取网络的输入,所述权重分配网络输出的第二权重组经乘积操作与所述第二提取网络中各所述卷积核组连接后作为所述第二提取网络的输入。