欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019106303369
申请人: 安徽大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多适配器的可见光红外视觉跟踪方法,其特征在于,所述方法包括:

1)、预先构建由可见光模态适配器、通用适配器、热红外模态适配器以及实例适配器的初始识别模型,其中,可见光模态适配器中的每个第一卷积层均与通用适配器中的对应次序的第二卷积层并联;红外光模态适配器中的每个第三卷积层均与通用适配器中的对应次序的第二卷积层并联;所述实例适配器包括若干个串联的全连接层,其中,所述可见光模态适配器中包含的若干层第一卷积层中的首个第一卷积层接收可见光图像,并将特征提取后的得到的数据输入到通用适配器中;第一卷积层中除首个第一卷积层以外的其他第一卷积层接收通用适配器中的第二卷积层的输出,并对所述第二卷积层的输出进行特征提取后将特征提取后的数据输出至通用适配器中;

红外光模态适配器中包含的若干层第三卷积层中的首个第三卷积层接收热红外光图像,并将特征提取后的得到的数据输入到通用适配器中;第三卷积层中除首个第三卷积层以外的其他第三卷积层接收通用适配器中的第二卷积层的输出,并对所述第二卷积层的输出进行特征提取后将特征提取后的数据输出至通用适配器中;

通用适配器中包含的若干层第二卷积层中的首个第二卷积层接收可见光以及热红外光图像,对所接收的图像进行特征提取处理,将可见光图像对应的特征提取后的数据与对应次序的第一卷积层输出的特征提取后的数据进行数据融合处理,得到融合后的针对可见光图像的数据并输出至下一个第二卷积层;将热红外图像对应的特征提取后的数据与对应次序的第三卷积层输出的特征提取后的数据进行数据融合处理,得到融合后的针对热红外图像的数据并输出至下一个第二卷积层;

第二卷积层中除首个第二卷积层以外的其他第二卷积层将接收上一个第二卷积层输出的针对可见光图像的数据与对应次序的第一卷积层输出的特征提取后的数据进行数据融合处理,并将融合得到的数据输出至下一个第二卷积层;第二卷积层中除首个第二卷积层以外的其他第二卷积层将接收上一个第二卷积层输出的针对热热红外光图像的数据与对应次序的第三卷积层输出的特征提取后的数据进行数据融合处理,并将融合得到的数据输出至下一个第二卷积层;

通用适配器中还包括关联函数,所述关联函数将最后一个第二卷积层输出的针对可见光图像的融合后数据与针对热热红外光图像的融合后的数据进行关联处理,并输出至所述实例适配器中;

2)、使用预先标定好目标的样本视频训练所述初始识别模型,得到训练后的识别模型,其中,样本视频包括:若干个可见光‑热红外光样本视频对;

3)、使用训练后的初始识别模型跟踪待识别视频中的待识别目标。

2.根据权利要求1所述的一种基于多适配器的可见光红外视觉跟踪方法,其特征在于,所述第一卷积层以及第三卷积层中除最后一层以外的卷积层均是由卷积层、非线性层、正则化层以及池化层堆叠组成;

所述第一卷积层以及第三卷积层中的最后一层卷积层均是由卷积层以及非线性层堆叠组成。

3.根据权利要求1所述的一种基于多适配器的可见光红外视觉跟踪方法,其特征在于,所述实例适配器中除最后一层全连接层以的其他全连接层均是由神经元随机激活层、全连接层以及非线性层堆叠组成;

所述实例适配器中最后一层全连接层为softmax层。

4.根据权利要求1所述的一种基于多适配器的可见光红外视觉跟踪方法,其特征在于,所述步骤2),包括:

21)、针对若干个可见光‑热红外光样本视频对中的当前可见光‑热红外光样本视频对,根据预先标定的待识别目标的真值框,在可见光‑热红外光样本视频对中的可见光样本视频中的每一帧图像中按照预设的第一采样规则进行采样,得到第一采样结果,其中,所述预设的第一采样规则包括:采样数量以及交并比中的一种或组合,且所述第一采样结果包括:正样本以及负样本;

22)、为对应于当前可见光‑热红外光样本视频对的所述初始识别模型中的实例适配器构建新的最后一个全连接层,得到对应于当前可见光‑热红外光样本视频对的构建后初始识别模型;

23)、将所述第一采样结果输入到所述构建后初始识别模型中,迭代第一预设数量次,得到迭代后的初始识别模型;

24)、将若干个可见光‑热红外光样本视频对中除当前可见光‑热红外光样本视频对以外的其他可见光‑热红外光样本视频对中的一个作为当前可见光‑热红外光样本视频对,使用预设的学习率更新所述迭代后的初始识别模型中的卷积层参数以及全连接层参数,得到更新后的初始识别模型,将所述更新后的初始识别模型作为对应于当前可见光‑热红外光样本视频对的初始识别模型;并返回执行步骤22);直至最后一个可见光‑热红外光样本视频对,得到训练后的初始识别模型。

5.根据权利要求1所述的一种基于多适配器的可见光红外视觉跟踪方法,其特征在于,所述步骤3),包括:

31)、获取待识别视频对中的第一个帧对中的热热红外光图像以及可见光图像,其中,所述待识别视频对包括各帧分别对应的热红外光视频以及可见光视频,且帧对中的热热红外光图像与可见光图像为对应的视频帧;

32)、以第一个帧对中预设的待识别目标对应的真值框为基准,根据预设的第二采样规则进行采样,得到第二采样结果,其中,所述预设的第二采样规则包括:采样数量以及交并比中的一种或组合,且所述第二采样结果包括:正样本以及负样本;

33)、针对所述第二采样结果,为训练后的识别模型中的实例适配器,构建新的最后一个全连接层,得到目标识别模型;

34)、使用所述第二采样结果训练所述目标识别模型,并迭代第二预设数量次,得到初始训练后的目标识别模型,将所述第一个帧对作为当前帧对;

35)、以当前帧对中的待识别目标对应的真值框为基准,根据预设的第三采样规则进行采样,得到第三采样结果,其中,所述预设的第三采样规则包括:采样数量以及协方差中的一种或组合,且所述第三采样结果包括:正样本以及负样本;

36)、将所述第三采样结果输入到初始训练后的目标识别模型中,并根据初始训练后的目标识别模型得到的各个采样结果的得分,利用公式,*

计算当前帧对中待识别目标的位置,其中,x 为当前帧对中的待识

+ i

别目标的位置; 为在最大值时求变量函数;f (x)为当前帧对中的正样本得分;

37)、将所述当前帧对的下一个帧对作为当前帧对,并返回执行步骤35),进而对待识别目标进行跟踪,直至所述待识别视频对中的最后一个帧对。

6.根据权利要求5所述的一种基于多适配器的可见光红外视觉跟踪方法,其特征在于,在执行步骤36)时,所述方法还包括:针对每一个当前帧对,判断是否识别成功所述当前帧对中的待识别目标;

若是,将当前帧对的第三采样结果中的第三预设数量个正样本加入到正样本集中,将当前帧对的第三采样结果中的第四预设数量个负样本加入到负样本集中,得到短期更新后的正样本和更新后的负样本,其中,所述正样本集是由当前帧之前的、被识别成功的第五预设数量帧对中的正样本;所述负样本集是由当前帧之前的、被识别成功的第六预设数量帧对中的负样本;

若否,将当前帧对的第三采样结果中的第七预设数量个正样本加入到正样本集中,将当前帧对的第八预设数量个负样本和待识别视频对中的第一个帧对的第九预设数量个负样本加入到负样本集中,得到短期更新后的正样本和更新后的负样本;

使用短期更新后的正样本和短期更新后的负样本训练识别当前帧对之后的目标识别模型,得短期更新后的目标识别模型,并将所述短期更新后的目标识别模型作为当前帧对的下一帧对的初始训练后的目标识别模型。

7.根据权利要求5所述的一种基于多适配器的可见光红外视觉跟踪方法,其特征在于,在执行步骤36)时,所述方法还包括:每隔第九预设数量个当前帧对,判断是否识别成功所述当前帧对中的待识别目标;

若是,将当前帧对的第三采样结果中的第十预设数量个正样本加入到正样本集中,将当前帧对的第三采样结果中的第一预设数量个负样本加入到负样本集中,得到长期更新后的正样本和长期更新后的负样本;

使用长期更新后的正样本和长期更新后的负样本训练识别当前帧对之后的目标识别模型,得长期更新后的目标识别模型,并将所述长期更新后的目标识别模型作为当前帧对的下一帧对的初始训练后的目标识别模型。

8.一种基于多适配器的可见光红外视觉跟踪装置,其特征在于,所述装置包括:

构建模块,用于预先构建由可见光模态适配器、通用适配器、热红外模态适配器以及实例适配器的初始识别模型,其中,可见光模态适配器中的每个第一卷积层均与通用适配器中的对应次序的第二卷积层并联;红外光模态适配器中的每个第三卷积层均与通用适配器中的对应次序的第二卷积层并联;所述实例适配器包括若干个串联的全连接层,其中,所述可见光模态适配器中包含的若干层第一卷积层中的首个第一卷积层接收可见光图像,并将特征提取后的得到的数据输入到通用适配器中;第一卷积层中除首个第一卷积层以外的其他第一卷积层接收通用适配器中的第二卷积层的输出,并对所述第二卷积层的输出进行特征提取后将特征提取后的数据输出至通用适配器中;

红外光模态适配器中包含的若干层第三卷积层中的首个第三卷积层接收热红外光图像,并将特征提取后的得到的数据输入到通用适配器中;第三卷积层中除首个第三卷积层以外的其他第三卷积层接收通用适配器中的第二卷积层的输出,并对所述第二卷积层的输出进行特征提取后将特征提取后的数据输出至通用适配器中;

通用适配器中包含的若干层第二卷积层中的首个第二卷积层接收可见光以及热红外光图像,对所接收的图像进行特征提取处理,将可见光图像对应的特征提取后的数据与对应次序的第一卷积层输出的特征提取后的数据进行数据融合处理,得到融合后的针对可见光图像的数据并输出至下一个第二卷积层;将热红外图像对应的特征提取后的数据与对应次序的第三卷积层输出的特征提取后的数据进行数据融合处理,得到融合后的针对热红外图像的数据并输出至下一个第二卷积层;

第二卷积层中除首个第二卷积层以外的其他第二卷积层将接收上一个第二卷积层输出的针对可见光图像的数据与对应次序的第一卷积层输出的特征提取后的数据进行数据融合处理,并将融合得到的数据输出至下一个第二卷积层;第二卷积层中除首个第二卷积层以外的其他第二卷积层将接收上一个第二卷积层输出的针对热热红外光图像的数据与对应次序的第三卷积层输出的特征提取后的数据进行数据融合处理,并将融合得到的数据输出至下一个第二卷积层;

通用适配器中还包括关联函数,所述关联函数将最后一个第二卷积层输出的针对可见光图像的融合后数据与针对热热红外光图像的融合后的数据进行关联处理,并输出至所述实例适配器中;

训练模块,用于使用预先标定好目标的样本视频训练所述初始识别模型,得到训练后的识别模型,其中,样本视频包括:若干个可见光‑热红外光样本视频对;

跟踪模块,用于使用训练后的初始识别模型跟踪待识别视频中的待识别目标。