1.一种基于边缘特征增强的任意形状文本检测方法,其特征在于,所述方法包括以下3个步骤:
步骤A:获取所包含文本对象边界框标记的图像集合作为训练样本集,并对训练样本集中的每一幅图像进行预处理;
步骤B:利用基于残差网络ResNet的深度学习模型对步骤A所述训练样本进行训练,得到训练好的文本检测学习模型;
步骤B所述基于残差网络的深度学习模型具体为:
步骤B1、将所述步骤A中预处理过的样本图像作为的输入,得到特征图,并使用特征金字塔进行初步的特征融合得到特征;
步骤B2、浅层特征增强模块首先使用卷积处理特征获取各像元在更大尺度上的深层特征,将深层特征从融合后的特征中以相减的方式剥离得到尽可能保留更多浅层信息的特征;随后, 将特征同最高分辨率的特征进行拼接和卷积以增强浅层特征得到特征;最后将特征与特征逐像元相加作为后续文本检测的图像特征;
步骤B3、将特征通过不同的卷积处理以构建面向文本实例与其边缘的特征,得到文本区域特征和文本边缘区域特征;为了突出最具有代表性的特征并抑制无关特征,分别对特征和使用注意力机制模块处理以对不同特征赋予不同的权重,其中权重的获取是通过SE通道注意模块完成;经过注意力机制处理的特性和再通过拼接和两次卷积后进行融合以得到同时包含两者信息的混合特征;
步骤B4、在完整文本实例检测分支中, 首先根据特征使用先卷积后激活的方法得到文本实例区域初始分割结果;随后采用自适应二值化方法过滤文本实例区域初始分割结果中被错误分割的像元;其中首先使用特征得到文本阈值, 然后再使用二值化方法将文本实例区域初始分割结果和文本阈值进行融合从而得到最终的文本实例区域分割结果,具体公式为:,其中为文本实例区域初始分割结果,为文本阈值;
步骤B5、在文本实例边缘检测分支中,首先根据特征使用先卷积后激活的方法获得初始边缘区域分割结果;随后在初始边缘区域分割结果基础上融合了混合特征信息以及部分文本实例区域初始分割结果信息;对于混合特征信息也采用了先卷积后激活的方法得到每个像元归属于边缘区域的概率信息;对于文本实例区域初始分割结果则采用RPCNet中的方法,从计算空间梯度的方式从文本实例区域初始分割结果中得到边缘信息,具体公式为:,其中是激活函数,为内核大小为的自适应平均池化操作;最后将三个信息进行拼接、卷积和激活后得到最终的文本边缘预测结果;
根据文本边缘区域特征获得内核区域分割图;
步骤B6、为解决训练过程中存在着正负样本不均衡问题,首先使用OHEM方法根据正负样本比例将分割结果和实际标签进行掩膜处理,得到掩膜后的结果为和,再使损失函数计算损失, 具体公式为:,其中和分别为分割结果和实际标签掩膜后的像素值;
步骤C:对没有标记的训练集图像,根据步骤B训练好的学习模型对其进行预测,得到文本区域分割图以及内核区域分割图,并使用PSE算法通过渐进扩张的方式得到最终的文本区域预测结果。
2.根据权利要求1所述的基于边缘特征增强的任意形状文本检测方法,其特征在于,步骤A所述的对训练样本集中的每一幅图像进行预处理,具体为:步骤A1、使用多边形裁剪算法得到文本对象边界框标记的收缩文本框和扩张文本框;
步骤A2、根据文本对象边界框得到完整文本区域标记分割图,根据收缩文本框得到内核区域标记分割图,根据收缩文本框和扩张文本框得到文本边缘区域标记分割图;
步骤A3、将训练样本中的图像随机剪切成像元固定大小的图像,之后在水平方向进行随机翻转并进行随机缩放和随机选择,并进行归一化处理。
3.根据权利要求1所述的基于边缘特征增强的任意形状文本检测方法,其特征在于,步骤C所述的使用PSE算法通过渐进扩张的方式具体为:步骤C1、对最小尺度的内核区域分割图求连通区域得到不同文本实例的核心区域;
步骤C2、在各核心区域的基础上合并邻域内的文本像素得到,其中,合并方式为在核心区域的边缘像素中,根据其在中的分类结果,将属于文本像素的四邻域像素扩展合并到相应的各核心区域中;最后,使用同样的扩展合并操作依次得到…,并将作为最终的文本预测结果。