1.基于知识蒸馏的缅甸语OCR方法,其特征在于:所述方法包括:
Step1、构建适应任务需求的缅甸语图像数据集,然后对生成的图像进行加噪,最后对图像所对应的标签编码进行规则性标注;
Step2、构建使用深度卷积神经网络和循环神经网络框架的学生网络和教师网络的模型架构;
Step3、设置学生网络与教师网络的输入,基于知识蒸馏的方法将教师网络与学生网络以集成学习的方式进行联合训练,通过教师集成的子网络与学生网络进行耦合,实现学生网络中单个感受野对应的局部字符图像特征与教师网络中整体字符图像特征的对齐,以此增强对长序列字符图像中局部特征的获取,通过计算网络训练的损失值,进而优化学生网络的学习参数和模型权重;
Step4、学生网络通过调用服务器上的部署模型能够高效识别缅甸语复杂场景文本图像。
2.根据权利要求1所述的基于知识蒸馏的缅甸语OCR方法,其特征在于:所述步骤Step1的具体步骤为:Step1.1、进行网络采集获取缅甸语句子,利用缅甸语片段切分工具将缅甸语音节和句子切成具有长序列缅甸语段文本数据;
Step1.2、从获得长序列缅甸语段文本数据中手动切分出短序列单字符和多个字符嵌套组合的复杂字符数据,切分出的字符保留原数据中的位置信息;
Step1.3、利用文本生成图像工具将获得的文本数据生成对应的缅甸语图像,然后对生成的图像加入噪声,把生成的缅甸语图像数据集分为训练集、测试集、评估集三部分;
Step1.4、对图像所对应的标签编码按照指定的缅甸语Unicode编码算法顺序对缅甸语图像内容进行规则性标注。
3.根据权利要求2所述的基于知识蒸馏的缅甸语OCR方法,其特征在于:所述步骤Step1.3中:Step1.3.1、将步骤Step1.1获得的长序列缅甸语段文本数据,利用文本生成图像工具,生成包含600万张分辨率10*5~500*300像素无背景噪声的长序列的训练缅甸语图像数据集;
Step1.3.2、将步骤Step1.2获得短序列单字符和多个字符嵌套组合的复杂字符数据,利用文本生成图像工具,生成与步骤Step1.3.1生成的数据集中每张图像的位置特征信息一一对应的短序列的单字符和多个字符嵌套组合的复杂字符缅甸语数据集;
Step1.3.3、将上述步骤Step1.3.1—Step1.3.2获得数据集图像复制一份,将复制的数据集随机加入高斯噪声、椒盐噪声、均匀噪声,同时添加不同颜色的背景噪声;
Step1.3.4、将数据集分为训练集、测试集、评估集三部分,其中测试集和评估集包含80万张含有噪声的缅甸语图像,训练集包含以下内容:1.数据集1包含600万张无背景噪声的长序列的训练缅甸语图像数据集;2.数据集2图像为与数据集1中每张图像的位置特征信息一一对应的短序列的单字符缅甸语训练数据集;3.数据集3图像为与数据集1中每张图像的位置特征信息一一对应的短序列的组合字符缅甸语训练数据集;4.数据集4包含600万张具有噪声的长序列训练缅甸语图像数据集;5.数据集5图像为与数据集4中每张图像的位置特征信息一一对应的单字符缅甸语训练数据集;6.数据集6图像为与数据集4中每张图像的位置特征信息一一对应的短序列组合字符缅甸语训练数据集。
4.根据权利要求2所述的基于知识蒸馏的缅甸语OCR方法,其特征在于:所述步骤Step1.4的具体步骤为:Step1.4.1、整理缅甸语图像所对应的标签,删除标签中在图像上不能显示出来的辅音字符;
Step1.4.2、按照最后一个音节的优先级高于元音的原则,制定缅甸语编码排序规则,将图像所对应的标签编码按照缅甸语Unicode编码算法顺序:<辅音>,<声调>,<元音>,<韵母>,<中音>对缅甸语图像进行规则性标注。
5.根据权利要求1所述的基于知识蒸馏的缅甸语OCR方法,其特征在于:所述步骤Step2的具体步骤为:Step2.1、构建使用深度卷积神经网络和循环神经网络框架的学生网络架构,其中包含构建适应缅甸语OCR任务需求的深度卷积神经网络架构与超参数设置,循环神经网络的类型选取,网络解码端设置;
Step2.2、构建多个使用卷积神经网络和循环神经网络框架的教师集成的子网络架构。
6.根据权利要求5所述的基于知识蒸馏的缅甸语OCR方法,其特征在于:所述步骤Step2.1的具体步骤为:Step2.1.1、在深度卷积神经网络中选用了基于VGG‑VeryDeep的架构,在此基础上采用了卷积层、最大池化层和删除全连接层构建出了适应缅甸语OCR任务需求的深度卷积神经网络模型组件;
Step2.1.2、在第三个和第四个最大池化层中采用1×2大小的矩形池化窗口,设置输入的缅甸图像生成30帧的特征序列,使所有特征图的第x列映射到第x个的特征向量上,保证图像上的信息完好保留转移到特征向量序列上;
Step2.1.3、选择循环神经网络中的BiLSTM来处理深度卷积神经网络中获得的特征向量序列,从而获得特征的每个列的概率分布,即预测从深度卷积神经网络提取输入图像的全序列字符特征序列x=x1,...,xT中第t个序列xt的标签分布yt;
Step2.1.4、设置BiLSTM输出yt对应位置的每个感受野内单字符和多个字符嵌套组合的复杂字符的SoftMax输出概率为pS',用于知识蒸馏损失计算;
Step2.1.5、计算出所有的标签序列概率:输入y=y1,...,yT的情况下,输出为q的标签序列概率为:其中T是序列长度,输入y是一个T*n的后验概率矩阵, 是时刻t时有
标签πt的概率;
Step2.1.6、选用基于最近邻候选目标的方式来选取最大的标签序列概率所对应的标签序列作为图像中每一帧的缅甸语最终的预测结果,即:其中Mδ(q')是最近邻候选目标,δ是最大编辑距离,q'是在没有词典的情况下输入为y转录的序列。
7.根据权利要求6所述的基于知识蒸馏的缅甸语OCR方法,其特征在于:所述步骤Step2.2的具体步骤为:Step2.2.1、构造n个教师网络中的子网络,其中每个子网络的深度卷积神经网络与循环神经网络内部结构与超参数设置与上述步骤Step2.1.1—Step2.1.3相同,预测从深度卷积神经网络提取的每张图像中单字符或者多个字符嵌套组合的复杂字符特征序列x=x1,...,xT中第t个序列xt的标签分布yt;
Step2.2.2、每个子网络的解码端中前部分计算与上述步骤Step2.1.5相同,从而计算出当输入y=y1,...,yT的情况下,教师网络输出为q的标签序列概率pT(q|y);
Step2.2.3、因为缅甸语单字符和组合字符是有一定规则数量限制的,所以选用基于词典的解码转录方式更加准确便捷,词典是一组标签序列,当预测缅甸语图像识别结果时将会受到拼写检查字典的约束,在基于词典的情况下,选取最大的标签序列概率所对应的标签序列作为最终的预测结果,即:其中D为缅甸语词典。
8.根据权利要求1所述的基于知识蒸馏的缅甸语OCR方法,其特征在于:
所述步骤Step3的具体步骤为:
Step3.1、将图像和标签(x',y')∈(X',Y')组成训练的数据集,其中每个样本属于K个类,即Y'=1,2,…K,利用单字符和嵌套组合字符的训练集来训练教师网络,利用长序列字符图像数据集来训练学生网络;
Step3.2、计算教师网络损失值、学生网络损失值、知识蒸馏损失值,以集成学习的方式进行联合训练,从而优化学生网络的学习参数和模型权重。
9.根据权利要求8所述的基于知识蒸馏的缅甸语OCR方法,其特征在于:所述步骤Step3.2的具体步骤为:Step3.2.1、计算教师网络和学生网络的交叉熵损失值,教师网络和学生网络的损失值分别用LCET和LCES表示,真实标签用y'表示;
k=y'
其中η(k)是指示函数, 是教师网络对应单字符或者组合字符的输出概率,pS'是学生网络与教师网络输出yt等对应位置时刻单字符或者组合字符SoftMax输出概率;
Step3.2.2、计算知识蒸馏损失,知识蒸馏损失值用LKD表示,LKD由散度损失值LKL和均方误差损失值LMSE组成,公式如下:式中的psi'代表i时刻学生网络输出yt等对应位置时刻单字符或者组合字符SoftMax输出概率, 代表i时刻教师网络对应位置单字符或者组合字符对应的标签序列最终的预测结果概率,T是一个温度超参数,它控制教师子网络输出的软化;T值越大,目标类上的概率分布越软,LKL由以下公式如下:均方误差损失值LMSE公式如下:
Step3.2.3、计算教师网络损失值和学生网络损失值与知识蒸馏损失值三个损失项的训练函数加权组合:Ltrain=αLCET(PT,y')+βLCES(PS,y')+γLKD其中PT=ft(x)和PS=fs(x)分别表示教师网络和学生模型中图像对应缅甸语单字符和组合字符所在相同感受野内输出yt等时刻所对应的映射函数概率,实现学生网络中单个感受野对应的局部字符图像特征与教师网络中整体字符图像特征的对齐,通过计算损失值来优化学生模型的权重与参数,从而来实现教师网络对学生网络的图像特征增强,α∈[0,
0.5,1]、β∈[0,0.5,1]和γ∈[0,0.5,1]是平衡单个损失项的超参数;
* *
Step3.2.4、fs(x)为X'→Y'的映射,通过fs(x',θ)训练学生网络的参数θ,其中θ是初始*化的学习参数和模型权重,θ是通过最小化训练目标函数Ltrain获得的学生网络学习参数和模型权重:
10.根据权利要求1所述的基于知识蒸馏的缅甸语OCR方法,其特征在于:所述步骤Step4的具体步骤为:Step4.1、通过文本检测工具将拍照图像,扫描图像或者网络图像的图像检测框取成多个单行图像,以便对每个单行图像内容进行缅甸语图像文本识别;
Step4.2、预处理上述步骤得到的单行图像,如果图像分辨率大于1350*32,则将图像压缩至1350*32分辨率大小,如果图像分辨率小于1350*32,则将图像空缺部分白色填充至分辨率1350*32;
Step4.3、将训练出的“.ckpt”模型转换成接受参数为1350*32分辨率图像的“.pb”格式模型,以便于将模型部署到服务器上,实现工程应用;
Step4.4、将上述转换成的“.pb”格式模型通过Tensorflow model server部署到服务器端上,进而实现web端口多用户并发请求的功能;
Step4.5、在web端通过使用学生网络架构调用部署到服务器端的缅甸语OCR模型,来测试输入的图像,进而得到准确值高的缅甸语图像识别结果并将其保存成文本文件。