欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021100645961
申请人: 苏州科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-04-02
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于孪生网络的RGB‑D特征目标跟踪方法,其特征在于,包括以下步骤:S1、构建基于RGB‑D特征的孪生网络模型,将模板图像与搜索图像分别输入至孪生网络模型;

S2、模板图像经共享网络处理,获得模板图像的语义特征,将高层语义特征输入至深度卷积网络模块,获得深度图;

S3、对所述深度图进行深度特征提取,获得深度特征信息,通过级联方式将所述深度特征信息与模板图像的语义特征进行融合,获得融合后的图像特征;

S4、搜索图像经共享网络处理,获得搜索图像的特征,所述搜索图像的特征经卷积和池化操作,获得搜索图像的上下文信息,通过搜索图像的上下文信息指导S3中的融合后的图像特征,生成用于目标定位的自适应特征;

S5、将自适应特征与搜索图像通过共享网络处理获得的特征进行互相关操作,得到分数图,对所述分数图进行插值计算,获得跟踪的结果;所述S3中对所述深度图进行深度特征提取,获得深度特征信息,包括:通过卷积层提取深度图的深度特征;通过深度增强模块从深度特征中进一步提取有效深度特征;

其中,所述深度增强模块包括通道注意力操作和空间注意力操作,d d

深度增强模块FDEM(fi)=Satt(Catt(fi)),其中,Catt(·)表示通道注意力操作,Satt(·)表示空间注意力操作;

所述通道注意力操作

其中,Pmax表示最大池化操作,M(·)表示一个多层感知器,f表示输入地深度特征图,表示逐元素相乘;

所述空间注意力操作Satt(f)=Conv(Rmax(f))⊙f,其中,Rmax(·)表示对特征图每个通道上的点进行全局做大池化操作;所述S3中通过级联方式将所述深度特征信息与模板图像的语义特征进行融合,包括:设置多个卷积层和多个深度增强模块;

深度图每经过一个卷积层,就通过深度增强模块进行一次深度信息增强,并与语义信息进行一次融合;

cm Z D Z

其中,每一层输出的多模态特征fi =fi +FDEM(fi),fi表示每一层的语义特征,FDEM表示深度增强模块。

2.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现权利要求1所述方法的步骤。