1.一种基于类池化连接注意力融合的交通标志检测方法,其特征在于,所述方法包括如下步骤:步骤1、将可缩放通道注意力模块插入基于多头自注意力模块的Transformer中,并同多头自注意力模块串行,得到双注意力模块,将PM模块、PC模块以及至少一对双注意力模块采用串行的方式封装为类池连接注意力模块,利用若干类池连接注意力模块构建分层式特征提取网络;
步骤2、对交通图像进行预处理,得到二维图像,将二维图像编码为初始一维序列,并输入分层式特征提取网络中;
步骤3、利用可缩放通道注意力模块对输入特征进行特征提取,得到通道注意力特征图,利用多头自注意力模块对通道注意力特征图进行特征提取,得到双注意力融合的特征图,将双注意力融合的特征图通过多层感知机来增加非线性表达,得到最终的一维序列;
步骤4、将最终的一维序列重塑为二维图像,得到第一阶段的二维特征图;
将最终的一维序列和初始一维序列分别进行降维操作,并将降维结果进行融合得到第一阶段的一维特征输出;
步骤5、以第一阶段的一维特征输出作为下一阶段的输入特征,采用迭代的方式重复步骤3至步骤4若干次以通过特征提取网络的不同层级获得不同层级所输出的二维特征图,得到若干不同尺寸的二维特征图;
步骤6、将若干不同尺寸的二维特征图进行特征融合并送入分类和回归阶段进行预测,以实现交通标志检测;
PC模块和PM模块采用补丁合并的方式;
将最终的一维序列和初始一维序列分别进行降维操作,并将降维结果进行融合得到第一阶段的一维特征输出的过程存在如下关系式:;
其中,表示第个类池连接注意力模块的一维特征输出,表示双注意力模块特征提取操作,表示用于对最终的一维序列进行补丁合并操作,表示用于对初始一维序列进行补丁合并操作。
2.根据权利要求1所述的一种基于类池化连接注意力融合的交通标志检测方法,其特征在于,在所述步骤1中,多头自注意力模块包括窗口多头自注意力模块和滑动窗口多头自注意力模块,每对双注意力模块中的多头自注意力模块分别采用窗口多头自注意力模块和滑动窗口多头自注意力模块。
3.根据权利要求2所述的一种基于类池化连接注意力融合的交通标志检测方法,其特征在于,在所述步骤1中,每对双注意力模块进行特征提取的过程存在如下关系式:;
其中,表示窗口多头自注意力模块,表示滑动窗口多头自注意力模块,表示可缩放通道注意力模块,表示当前双注意力模块中窗口多头自注意力模块和可缩放通道注意力模块融合后的特征输出,表示下一双注意力模块中滑动窗口多头自注意力模块和可缩放通道注意力模块融合后的特征输出,表示多层感知机,表示当前双注意力模块中MLP模块的输出特征,表示下一双注意力模块中MLP模块的输出特征,表示归一化层函数,表示双注意力模块的输入特征。
4.根据权利要求3所述的一种基于类池化连接注意力融合的交通标志检测方法,其特征在于,在所述步骤2中,将二维图像编码为初始一维序列的方法具体包括如下步骤:给定一幅大小为的二维图像,将其划分为每个大小为的个一维序列,其中,表示特征高度,表示特征宽度;
对一维序列进行线性投影,得到大小为的初始一维序列,其中,表示特征维度。
5.根据权利要求4所述的一种基于类池化连接注意力融合的交通标志检测方法,其特征在于,在所述步骤3中,利用可缩放通道注意力模块对输入特征进行特征提取,得到通道注意力特征图的方法具体包括如下步骤:将初始一维序列先进行归一化后送入到通道注意力模块中即可缩放通道注意力模块中,利用通道注意力模块建模通道间关系,得到通道注意力权重,利用通道注意力模块建模通道间关系的过程存在如下关系式:;
其中,表示 Sigmoid 激活函数,表示通道注意力权重,表示特征张量,表示平衡通道注意力的影响的平衡因子,表示一维卷积,表示全局平均池化操作,对特征张量进行全局平均池化操作的过程存在如下关系式:;
其中,表示特征张量上的某个点;
根据特征通道权重,对特征张量的每个通道下的特征映射进行重新缩放,从而得到最终输出,即通道注意力特征图,通道注意力特征图的计算过程存在如下关系式:;
其中,表示通道注意力权重与特征映射逐通道相乘结果,表示通道注意的输出,即带有通道注意力的特征图,且,表示维度为的特征映射,表示维度为的通道注意力权重,且,表示通道注意力权重与特征映射逐通道相乘操作。
6.根据权利要求5所述的一种基于类池化连接注意力融合的交通标志检测方法,其特征在于,在所述步骤3中,利用多头自注意力模块对通道注意力特征图进行特征提取,得到双注意力融合的特征图的方法具体包括如下步骤:通道注意力特征图经序列编码后变为一维序列特征,然后采用相对位置编码后送入到归一化层中进行归一化,之后通过可缩放通道注意力模块得到带有通道注意力的一维序列特征,将一维序列特征划分为大小为的个局部窗口,其中,表示局部窗口的边长;
利用局部窗口特征进行线性映射,得到查询、键和值,利用局部窗口特征进行线性映射的过程存在如下关系式:;
其中,表示某个局部窗口特征,且,、、分别表示查询矩阵、键矩阵和值矩阵,分别表示查询向量、键向量和值向量,表示序列映射维度,表示自注意力的头数,的关系为;
对查询、键和值进行多头自注意力计算,以利用多头自注意力机制MHSA对局部窗口特征依赖关系进行建模,得到局部空间的相对依赖关系,即双注意力融合的特征图,对查询、键和值进行多头自注意力计算的过程存在如下关系式:;
其中,表示转置操作,表示相对位置编码。
7.根据权利要求6所述的一种基于类池化连接注意力融合的交通标志检测方法,其特征在于,在所述步骤3中,将双注意力融合的特征图通过多层感知机来增加非线性表达的过程存在如下关系式:;
其中,和分别表示两个不同的学习到的线性变换,,,表示线性变换的维度,表示激活函数。
8.根据权利要求7所述的一种基于类池化连接注意力融合的交通标志检测方法,其特征在于,分层式特征提取网络为四层,第一阶段生成的特征图大小为,第二阶段生成的特征图大小为,第三阶段生成的特征图大小为,第四阶段生成的特征图,其大小为。
9.一种基于类池化连接注意力融合的交通标志检测系统,其特征在于,所述系统应用如权利要求1至8任意一项所述的一种基于类池化连接注意力融合的交通标志检测方法,所述系统包括:网络构建模块,用于:
将可缩放通道注意力模块插入基于多头自注意力模块的Transformer中,并同多头自注意力模块串行,得到双注意力模块,将PM模块、PC模块以及至少一对双注意力模块采用串行的方式封装为类池连接注意力模块,利用若干类池连接注意力模块构建分层式特征提取网络;
数据预处理模块,用于:
对交通图像进行预处理,得到二维图像,将二维图像编码为初始一维序列,并输入分层式特征提取网络中;
特征提取模块,用于:
利用可缩放通道注意力模块对输入特征进行特征提取,得到通道注意力特征图,利用多头自注意力模块对通道注意力特征图进行特征提取,得到双注意力融合的特征图,将双注意力融合的特征图通过多层感知机来增加非线性表达,得到最终的一维序列;
将最终的一维序列重塑为二维图像,得到第一阶段的二维特征图,将最终的一维序列和初始一维序列分别进行降维操作,并将降维结果进行融合得到第一阶段的一维特征输出,以第一阶段的一维特征输出作为下一阶段的输入特征,通过特征提取网络的不同层级获得不同层级所输出的二维特征图,得到若干不同尺寸的二维特征图;
特征融合模块,用于:
将若干不同尺寸的二维特征图进行特征融合并送入分类和回归阶段进行预测,以实现交通标志检测。