欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021102149082
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.通过模态感知特征学习的跨模态目标跟踪方法,其特征在于,包括以下步骤:

S01.获取训练样本数据;所述训练样本数据至少包括第一样本集和第二样本集;所述第一样本集至少包括两种已知模态样本子集;所述第二样本集包括全帧数据,所述全帧数据包括第一样本集的所有模态,每一帧数据模态未知;

S02.网络训练,网络训练分为两阶段学习,第一阶段学习利用所述第一样本集中两种模态数据分别对去除模态感知融合模块的VGG网络的对应的分支网络进行训练;第二阶段学习为在第一阶段学习后的VGG网络加入模态感知融合模块,然后利用第二样本集对该VGG网络进行训练,得到具有模态感知融合模块的目标网络;

S03.目标跟踪,所述目标网络对多模态视频数据进行目标跟踪,输出跟踪结果;在输出结果之前,利用meta‑updater更新控制器判断跟踪结果是否跟踪成功,如跟踪成功,则收集跟踪样本对样本池执行在线更新,目标网络利用样本池当前最新一帧跟踪结果对下一帧目标跟踪进行判断;

所述步骤S03中目标跟踪的具体方法为:

先向目标网络输入标注有待跟踪目标的第一帧,从第二帧开始,对第t帧进行跟踪时,围绕样本池中最新一帧跟踪结果的高斯分布采样256个候选区域,利用softmax的交叉熵损失和实例嵌入损失来进行二值化分类,以区分前景和背景,然后利用目标网络计算这些候选区域的得分,选取得分最高的5个候选样本的平均边界框作为第t帧的跟踪结果。

2.根据权利要求1所述的通过模态感知特征学习的跨模态目标跟踪方法,其特征在于,所述步骤S01中的模态至少包括近红外和可见光两种模态。

3.根据权利要求1所述的通过模态感知特征学习的跨模态目标跟踪方法,其特征在于,所述步骤S02中第一阶段学习中,各个分支采用inception网络。

4.通过模态感知特征学习的跨模态目标跟踪系统,其特征在于,包括以下步骤:

训练样本数据获取模块,所述训练样本数据至少包括第一样本集和第二样本集;所述第一样本集至少包括两种已知模态样本子集;所述第二样本集包括全帧数据,所述全帧数据包括第一样本集的所有模态,每一帧数据模态未知;

网络训练模块,网络训练分为两阶段学习,第一阶段学习利用所述第一样本集中两种模态数据分别对去除模态感知融合模块的VGG网络的对应的分支网络进行训练;第二阶段学习为在第一阶段学习后的VGG网络加入模态感知融合模块,然后利用第二样本集对该VGG网络进行训练,得到具有模态感知融合模块的目标网络;

目标跟踪模块,所述目标网络对多模态视频数据进行目标跟踪,输出跟踪结果;在输出结果之前,利用meta‑updater更新控制器判断跟踪结果是否跟踪成功,如跟踪成功,则收集跟踪样本对样本池执行在线更新,目标网络利用样本池当前最新一帧跟踪结果对下一帧目标跟踪进行判断;

所述目标跟踪模块中目标跟踪的具体方法为:

先向目标网络输入标注有待跟踪目标的第一帧,从第二帧开始,对第t帧进行跟踪时,围绕样本池中最新一帧跟踪结果的高斯分布采样256个候选区域,利用softmax的交叉熵损失和实例嵌入损失来进行二值化分类,以区分前景和背景,然后利用目标网络计算这些候选区域的得分,选取得分最高的5个候选样本的平均边界框作为第t帧的跟踪结果。

5.根据权利要求4所述的通过模态感知特征学习的跨模态目标跟踪系统,其特征在于,所述训练样本数据获取模块中的模态至少包括近红外和可见光两种模态。

6.根据权利要求4所述的通过模态感知特征学习的跨模态目标跟踪系统,其特征在于,所述网络训练模块中第一阶段学习中,各个分支采用inception网络。

7.一种处理设备,其特征在于,包括至少一个处理器,以及与所述处理器通信连接的至少一个存储器,其中:所述存储器存储有可被处理器执行的程序指令,所述处理器调用所述程序指令能够执行如权利要求1至3任一所述的方法。

8.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储计算机指令,所述计算机指令使所述计算机执行如权利要求1至3任一所述的方法。