1.一种基于注意力机制的自然场景图像中文本识别方法,其特征在于:采用自然场景文本识别网络,对自然场景图像中文本进行识别;
所述自然场景文本识别网络,包括多级视觉特征提取模块efficient Swin Transformer、视觉注意力模块DUnet Attention、语义推理模块Semantic Reasoning Block、双特征融合单元DFFU;
所述多级视觉特征提取模块efficient Swin Transformer,用于输出全局特征F;包括分块层Patch Partition、线性嵌入层Linear Embeding、Swin Transformer Block层、ECA模块;其中,若干所述高效通道注意力ECA模块和所述SwinTransformerBlock层级联连接,级联方式为在SwinTransformerBlock层后嵌入高效通道注意力ECA模块;所述Swin Transformer Block层由顺序连接的基于窗口的多头自注意力模块W‑MSA、多层感知机MLP、基于移动窗口多头自注意力模块SW‑MSA和多层感知机MLP组成,在所述W‑MSA模块、MLP以及SW‑MSA模块前都设置有LN模块,组成四个小单元,每个小单元通过残差方式连接;
所述视觉注意力模块DUnet Attention,由V、Q、K三个分支组成,得到视觉特征Fv;所述V分支由全局特征F线性变换得到,经过全连接层Linear后输出;所述Q分支通过位置编码层Positional Encoding得到,经过全连接层Linear后输出;所述K分支由全局特征F依次经过一个可变形卷积Deformable Conv、DUnet网络得到;所述Q、K分支输出经过逐位乘法操作后的输出与V分支输出经过逐位乘法操作后输出;
所述视觉特征Fv,经过全连接层Linear和归一化操作层softmax求得字符的概率特征Fp,根据字符预测顺序设置字符掩码矩阵Mmask,将Fp和Mmask输入所述语义推理模块Semantic Reasoning Block;所述语义推理模块Semantic Reasoning Block,包括掩码多头自注意力模块Masked Multi‑Head Attention、标准化层Normalize、前馈连接层FeedForward、标准化层Normalize、全连接层Linear及归一化操作层softmax,得到语义特征Fs;所述概率特征Fp和掩码矩阵Mmask经过所述掩码多头自注意力模块Masked Multi‑Head Attention得到特征Fm,依次经过标准化层Normalize、前馈连接层Feed Forward、标准化层Normalize、全连接层Linear及归一化操作层softmax,并且概率特征Fp以残差方式连接到所述的标准化层Normalize,在所述前馈连接层Feed Forward前以残差方式连接到下一个标准化层Normalize;
所述双特征融合单元DFFU,用于融合视觉特征Fv和语义特征Fs,对视觉特征Fv、语义特征Fs分别经过全连接层Linear后进行拼接操作,通过Sigmod函数计算各特征的贡献比重,融合视觉特征和语义特征,输出融合后的特征Ff。
2.根据权利要求1所述的基于注意力机制的自然场景图像中文本识别方法,其特征在于:若干所述高效通道注意力ECA模块和所述SwinTransformerBlock层级联连接,对于输入特征数据X从第i级到第i+1级计算公式如下:i i+1
式中i表示层号, X分别表示第i层W‑MSA、MLP输出的特征, X 则分别表示第i+1层SW‑MSA、MLP输出的特征。
3.根据权利要求1所述的基于注意力机制的自然场景图像中文本识别方法,其特征在于:所述DUnet网络,输入特征依次经过三个下采样和三个上采,每个下采样后以残差的方式经过1×1卷积层1×1Conv后连接到对应的上采样层Up‑sampling,所述下采样由空洞卷积层DConv、批归一化及Relu激活层BN+Relu级联组成,上采样由上采样层Up‑sampling、空洞卷积层DConv、批归一化及Relu激活层BN+Relu级联组成。
4.根据权利要求1所述的基于注意力机制的自然场景图像中文本识别方法,其特征在于:所述V、Q、K三个分支输出分别为:V(F)=FWv (5)
Q=PWp (6)
K(F)=DUnet(DConv(F)+F) (7)
其中,Wv及Wp是网络需要学习的矩阵、pos为字符在文本序列中的位置,d为P(pos,di)的维度,di为字符向量的位置、k为自然数,2k表示偶数,2k+1表示奇数、P(pos,di)为位置编码矩阵。
5.根据权利要求1所述的基于注意力机制的自然场景图像中文本识别方法,其特征在于:所述语义推理模块Semantic Reasoning Block的掩码多头自注意力模块Masked Multi‑Head Attention输出Fm;
其中:
Fp=softmax(FvW1) (9)
其中,d为多头自注意力的维度,Wi为训练得到的变换矩阵,i={1,2,3};当网络预测第i个字符时,i与j相等,此时的掩码矩阵Mmask在(i,j)处为负无穷大,与K、Q计算得到的权重相加后经过softmax函数,计算出的权重系数为0,即忽略该字符本身信息,预测结果完全由其它字符的信息得到;依次预测每个位置的字符,即可得到具有语义信息的字符特征Fs。
6.根据权利要求1‑5任意一项所述的基于注意力机制的自然场景图像中文本识别方法,其特征在于,所述融合后的特征Ff为:Ff=WvFv*α+WsFs*(1‑α) (12)
α=σ([WvFv,WsFs]) (13)
其中,Wv、Ws是网络需要学习的矩阵,α是计算得到的权重系数,[·,·]表示拼接操作,σ为sigmoid函数。
7.一种基于注意力机制的自然场景图像中文本识别系统,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如权利要求1至6中任一项所述的基于注意力机制的自然场景图像中文本识别方法。