1.一种基于混合注意力与特征增强的文本检测方法,其特征在于:包括以下步骤:
S1,采集自然场景下的文本图像并对图像进行预处理;
S2,采用ResNet18作为主干网络,并对其进行修改,将ResNet-18的第二层到第五层的普通卷积更换为可变形卷积;将特征送入到FPN中进入特征提取,首先特征经过卷积核为1×1的卷积操作后,各层特征均变成通道数为256维的特征;后续特征会自顶向下的顺序进入到混合注意力融合模块MAF模块操作,在MAF模块中高层的语义信息作用于底层特征,融合多个特征的上下文信息;
S3,输出的多个特征图进行拼接操作后,自适应特征增强模块AFE模块使网络的注意权重在空间维度上更加灵活,捕捉到特征信息;
其中,所述混合注意力融合模块的输入为Pi和Outi+1,P为此层特征,Out为下一层特征的结果;计算过程如下表示:式中,代表特征元素相加,代表特征元素相乘,Up表示双线性插值操作;CM表示通道维度的注意力,所述通道维度的注意力是通道维度不进行改变,而对空间维度进行压缩操作,所述通道维度的注意力对应设置有通道注意力模块;SM表示空间维度的注意力,所述空间维度的注意力是空间维度不进行任何改变,在通道维度进行相应的压缩操作,之后再去学习空间维度上的特征信息,所述空间维度的注意力对应设置有空间注意力模块;
所述自适应特征增强模块的处理过程如下:
S=Concat([Out2,Out3,Out4,P5])
式中,Avg表示为平均池化操作,Conv3代表卷积核为3×3的卷积操作,Conv1代表卷积核为1×1的卷积操作;ReLu表示为ReLu激活函数,σ表示为Sigmoid激活函数,和分别表示两个特征图对应元素进行相加或相乘的操作。
2.根据权利要求1所述的一种基于混合注意力与特征增强的文本检测方法,其特征在于:
所述通道注意力模块将输入的特征图经过两个并行的最大池化层和平均池化层,将特征图从C×H×W变为C×1×1的大小,然后经过MLP模块;在所述通道注意力模块中,先将通道数压缩为原来的1/r倍,再扩张到原通道数,经过ReLU激活函数得到两个激活后的结果;将这两个输出结果进行逐元素相加操作;之后再通过一个Sigmoid激活函数得到输出结果。
3.根据权利要求1所述的一种基于混合注意力与特征增强的文本检测方法,其特征在于:
所述空间注意力模块关注的是目标的位置信息;即将输入的特征图像通过最大池化和平均池化操作得到两个1×H×W的特征图;然后经过连接操作对两个特征图进行拼接,之后再通过一个7×7卷积操作变为通道数为1的特征图,再经过一个Sigmoid得到空间注意力的特征图,最后将输出结果乘原图之后变回C×H×W大小。