1.一种基于频域融合的可见光-热红外目标跟踪方法,其特征在于,包括以下步骤:
步骤一、进行视频帧图像选取,分为搜索区域和模板,并进行分块和编码处理;
步骤二、将可见光和热红外模态的令牌输入至Transformer编码器模块,经Transformer编码器模块提取后的总特征令牌再次分为搜索区域令牌以及模板令牌,对搜索区域令牌先利用离散小波变换得到频域信息,频域信息包括低频分量和高频分量,再将可见光和热红外模态的频域信息进行交互,之后利用交叉注意力机制再次进行两个模态的信息交互融合,得到最终可见光模态的搜索区域令牌和最终热红外模态的搜索区域令牌;对可见光和热红外模态的模板令牌利用原始的空间信息,在Fusion模块中进行模态融合,得到新模板令牌Zf;接着将最终可见光模态的搜索区域令牌和最终热红外模态的搜索区域令牌分别和新模板令牌Zf结合,输出经过小波变换融合模块WTFM融合后的模板和搜索区域令牌,如此循环多次,得到最终的特征表示;
步骤三、将最终的特征表示输入到跟踪头进行预测并生成跟踪框。
2.根据权利要求1所述的基于频域融合的可见光-热红外目标跟踪方法,其特征在于,步骤一具体为:在数据集中,随机选取一批图像作为输入,分为大小为256×256的搜索区域以及128×128的模板图像,然后进行分块和编码处理。
3.根据权利要求2所述的基于频域融合的可见光-热红外目标跟踪方法,其特征在于,数据集采用LasHeR数据集,LasHeR数据集共包含1224视频序列,730000帧对。
4.根据权利要求1所述的基于频域融合的可见光-热红外目标跟踪方法,其特征在于,步骤二中,低频分量为低频-低频LL分量,高频分量为高频H分量;计算方法为:令可见光和热红外模态的搜索区域令牌分别为Xr和Xt,分别计算两种模态下的低频-低频LL分量和高频H分量;
;
其中,DWT为离散小波变换,Conv为卷积操作,为可见光模态的低频-低频LL分量,为可见光模态的高频H分量,为热红外模态的低频-低频LL分量,为热红外模态的高频H分量。
5.根据权利要求4所述的基于频域融合的可见光-热红外目标跟踪方法,其特征在于,高频H分量包含低频-高频LH、高频-低频HL、高频-高频HH三种高频分量,分别表示为水平、垂直、对角的高频信息。
6.根据权利要求5所述的基于频域融合的可见光-热红外目标跟踪方法,其特征在于,步骤二中,将可见光和热红外模态的频域信息进行交互,频域信息包括低频-低频LL分量和高频-高频HH分量;
;
其中,Avg为平均池化操作,Wl为低频线性权重,Wh为高频线性权重,为可见光模态的高频-高频分量,为热红外模态的高频-高频分量,为新的可见光搜索区域低频-低频分量,为新的热红外搜索区域低频-低频分量,为新的可见光搜索区域高频-高频分量,为新的热红外搜索区域高频-高频分量。
7.根据权利要求6所述的基于频域融合的可见光-热红外目标跟踪方法,其特征在于,步骤二中,利用交叉注意力机制再次进行两个模态的信息交互融合,并利用残差连接保留一部分原始的特征信息,得到最终可见光模态的搜索区域令牌和最终热红外模态的搜索区域令牌;
;
其中,Proj为线性映射操作,为可见光的Key分量,为可见光的Value分量,Cat为拼接操作,Wk为Key的线性权重,为热红外的Key分量,为热红外的Value分量;为交互后的可见光搜索区域低频-高频分量,为交互后的可见光搜索区域高频-低频分量,为交互后的热红外搜索区域低频-高频分量,为交互后的热红外搜索区域的高频-低频分量;
;
其中,为可见光的Query分量,为可见光的搜索区域令牌,Wq为Query的线性权重,为热红外的Query分量,为热红外的搜索区域令牌,为可见光Key分量的转置,NX为搜索区域令牌特征长度,Vr为可见光的Value分量,为交叉注意力计算后的频域融合的可见光搜索区域令牌,为交叉注意力计算后的频域融合的热红外搜索区域令牌,为热红外Key分量的转置,Vt为热红外的Value分量;
;
其中,Proj为线性映射操作,IWT为逆小波变换,为最终可见光模态的搜索区域令牌,为最终热红外模态的搜索区域令牌,为可见光搜索区域的低频-高频分量,为可见光搜索区域的高频-低频分量,为可见光搜索区域的高频-高频分量,为热红外搜索区域的低频-高频分量,为热红外搜索区域的高频-低频分量,为热红外搜索区域的高频-高频分量。
8.根据权利要求7所述的基于频域融合的可见光-热红外目标跟踪方法,其特征在于,步骤二中,将最终可见光模态的搜索区域令牌和最终热红外模态的搜索区域令牌分别和新模板令牌Zf结合,输出经过小波变换融合模块WTFM融合后的模板和搜索区域令牌,如此循环多次,得到最终的特征表示;
;
其中,Zf为在Fusion模块中空间特征融合处理后的模板令牌,Fr为最终的可见光令牌,Ft为最终的热红外令牌,GELU为激活函数,LN为层归一化操作,为可见光的模板令牌,为热红外的模板令牌,为最终可见光模态的搜索区域令牌,为最终热红外模态的搜索区域令牌。