欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024118780054
申请人: 广州城建职业学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种手写汉字识别、纠正方法,其特征在于,包括以下步骤:

S1:获取手写汉字图像,并对其进行降噪处理;

S2:对降噪处理后的手写汉字图像进行图像分割,提取具有汉字的待识别图像;

S3:基于模板匹配得到待识别图像中单个汉字的边框;

S4:建立训练数据集与目标手写汉字第一识别模型,并基于训练数据集对目标手写汉字第一识别模型进行训练;

S5:基于训练后的目标手写汉字第一识别模型对待识别图像进行检测,得到待识别图像中手写汉字的第一识别结果,所述第一识别结果包括潦草字体和非潦草字体;

S6:基于超图神经网络对第一识别结果中的潦草字体进行纠正;

步骤S4中,所述建立训练数据集与目标手写汉字第一识别模型的具体实现过程为:S41:通过手写汉字获取潦草和非潦草的汉字图像数据,一部分用于测试集,一部分用于训练集,通过所述训练集训练出两个EfficientDet网络模型,所述EfficientDet网络模型的特征采集网络为ResNeXt,训练后得到的两个网络模型分别记为ResNeXt-A和ResNeXt-B,所述汉字图像数据通过手动方式进行标签化定义,包括定义为潦草和非潦草两个标签;

S42:将所述S41的EfficientDet网络模型划分为特征提取网络ResNeXt、特征金字塔和潦草分类回归网络,采用所述特征提取网络ResNeXt提取潦草和非潦草图像的特征,将所述特征金字塔串联到所述特征提取网络ResNeXt,对所述特征金字塔每一层进行卷积,并通过所述潦草分类回归网络进行分类和回归;

S43:使用所述测试集对所述特征提取网络ResNeXt进行网络迭代测试,并且输出识别结果,当识别准确率达到所设置阈值,停止该模型训练,所述识别结果用于判断图像是否潦草。

2.根据权利要求1所述的一种手写汉字识别、纠正方法,其特征在于,步骤S1中,所述降噪处理为高斯滤波处理,具体为:,式中,g(x,y)为手写汉字图像,(x,y) 为高斯滤波处理后手写汉字图像,u(i,j)为权值,D(x,y)为以(x,y)为中心的(N+1)×(N+1)的大小范围;

其中,所述权值具体为:

式中,(i,j)为空间通道邻近度权重值,(i,j)空间通道相似度权重值,为输入随机系数。

3.根据权利要求2所述的一种手写汉字识别、纠正方法,其特征在于,步骤S2中,所述对降噪处理后的手写汉字图像进行图像分割,具体为:基于寻找目标最小外接矩形对降噪处理后的手写汉字图像进行图像分割,具体包括如下步骤:S21:对降噪处理后的手写汉字图像进行二值化处理,得到二值化图像;

S22:基于轮廓检测算法,对二值图像进行查找并绘制轮廓,再对绘制出的目标轮廓进行拟合,找出轮廓的最小外接正方形;

S23:基于最小外接正方形的中心点在手写汉字图像2/4~3/4处,搜寻中心处的汉字,并截取具有中心汉字的分割图像;

S24:对分割图像进行校正,得到待识别图像。

4.根据权利要求3所述的一种手写汉字识别、纠正方法,其特征在于,步骤S24中,所述对分割图像进行校正,得到待识别图像,具体为:S251:取最小外接正方形的四个角点和图像四角做对应,然后根据这四对对应的角点,基于MATLAB中的fitgeotrans 函数获取透视变换矩阵;

S252:基于透视变换矩阵,调用MATLAB中的函数imwarp 将分割图像变换到校正后的视图中,得到待识别图像;

S253:输出待识别图像。

5.根据权利要求4所述的一种手写汉字识别、纠正方法,其特征在于,所述S3具体包括如下步骤:S31:构建第一图像模板与第二图像模板,其中,第一图像模板为汉字的标准图像,第二图像模板为汉字的标准内框图像;

S32:分别将第一图像模板与第二图像模板在待识别图像上滑动,寻找最佳匹配值最大的位置,即得到待识别图像中汉字的内外边框。

6.根据权利要求1所述的一种手写汉字识别、纠正方法,其特征在于,所述特征提取网络ResNeXt的具体搭建步骤为:S411:针对训练集数据的图像根据潦草和非潦草两个标签进行判断,若该图像的标签为潦草图像采用ResNeXt-A处理,若该图像标签为非潦草图像采用ResNeXt-B处理,若判断当前输入的训练集数据图像为潦草,构建潦草图像深度卷积生成对抗网络;

S412:使用深度卷积生成对抗网络对所述潦草图像生成潦草图像训练集样本;

针对潦草和非潦草特征处理流程为:

所述特征采集网络采用特征提取网络ResNeXt的网络框架,分别提取潦草和非潦草的汉字特征,将第二层的潦草和非潦草卷积层的特征图先进行基于通道上的叠加,再通过2×2卷积进行降维处理,同样操作在第三层卷积层、第四层卷积层、第五层卷积层和第六层卷积层上执行;

所述使用深度卷积生成对抗网络对所述潦草图像生成潦草图像训练集样本的具体过程为:依照当前训练给定的潦草图像原图,生成对抗性的潦草图像样本,所述对抗性的潦草图像样本规格为:字体的大小多样化特征、笔画潦草特征和整体字体潦草特征,输入1张给定潦草图像原图,通过深度卷积生成对抗网络添加扰动因子,生成200张潦草样本图,所述笔画潦草特征至少包括笔画长短不固定化特征、笔画相对位置偏离特征,所述整体字体潦草特征至少包括整体字体宽高比率偏离特征和整体字体重心位置偏离特征。

7.根据权利要求1所述的一种手写汉字识别、纠正方法,其特征在于,将所述特征金字塔串联到所述特征提取网络ResNeXt具体过程为:对第三层卷积层,即潦草和非潦草融合的特征图进行采样,再与第二层卷积层的潦草和非潦草的融合特征图相叠加,得到金字塔的第一层,按此步骤继续对第四层卷积层、第五层卷积层和第六层卷积层执行,每相邻两层特征图进行通道上的叠加,便可得到金字塔的其中一层,最终一共得到四层特征金字塔,所述金字塔四层具体处理过程为:金字塔第一层,用于处理第一图像分辨率,且图像的亮度属于第一等级亮度;

金字塔第二层,用于处理第二图像分辨率,且图像的亮度属于第二等级亮度;

金字塔第三层,用于处理第三图像分辨率,且图像的亮度属于第三等级亮度;

金字塔第四层,用于处理第四图像分辨率,且图像的亮度属于第四等级亮度;

所述图像的分辨率等级具体划分为:

第一图像分辨率:w<160,h<160;

第二图像分辨率:160

第三图像分辨率:320

第四图像分辨率:1080

所述图像的亮度采用直方图计算图像的平均亮度方法,具体划分为:

第一平均亮度:0≤L≤60;

第二平均亮度:60

第三平均亮度:100

第四平均亮度:160

所述金字塔每一融合层特征图后面加入两分支网络,一分支用来分类,一分支用来回归,且每一分支先对特征图进行6次卷积,分别增强潦草和非潦草的图像特征,且卷积核大小为3×3,个数为64。

8.根据权利要求1所述的一种手写汉字识别、纠正方法,其特征在于,所述S6的具体实现过程为:将待处理的潦草图像的笔画潦草特征和整体字体潦草特征,输入至预设的汉字校正模型的第一超图神经网络层中,得到第一潦草特征向量;其中,所述第一潦草特征向量表征所述待处理的潦草图像的笔画潦草特征和整体字体潦草特征之间的关联关系;所述预设的汉字校正模型为基于超图神经网络模型所得到的模型;

将所述待处理的潦草图像的笔画潦草特征的子特征和整体字体潦草特征的子特征,输入至预设的汉字校正模型的第二超图神经网络层中,得到第二潦草特征向量;其中,第二潦草特征向量表征所述待处理的潦草图像的笔画潦草特征的子特征和整体字体潦草特征的子特征之间的关联关系;

将所述第一潦草特征向量和所述第二潦草特征向量进行连接,得到待处理特征向量;

基于所述预设的汉字校正模型对待处理特征向量进行识别,得到所述潦草图像的潦草类型,所述潦草类型至少包括笔画长短潦草、笔画交接潦草、笔画倾斜潦草、笔势潦草、整字位置潦草、整字宽高比潦草和整字重心潦草;

预设手写汉字校正库中的潦草类型,通过余弦相似度算法计算待处理的潦草图像的潦草类型与预设手写汉字校正库中的潦草类型的目标相似度,预设相似度阈值,若目标相似度大于预设相似度阈值,则找到对应手写汉字校正库的潦草类型进而校正潦草图像中的汉字,生成标准汉字,若目标相似度小于等于预设相似度阈值,找到最近相似度的手写汉字校正库的潦草类型进行校正潦草图像中的汉字。

9.根据权利要求8所述的一种手写汉字识别、纠正方法,其特征在于,所述预设的汉字校正模型的损失函数为:式中, 为损失函数,k为平衡因子,为关联矩阵聚集参数,为待分类潦草类型的目标概率。