欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025100648474
申请人: 昆明理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.融合语言纠错模型的老挝语图像文本识别方法,其特征在于:所述方法包括:Step1、老挝语文本图像数据集构建:通过人工收集、标注及校验的方式构建一个老挝语文本图像数据集;

Step2、融合语言纠错模型的老挝语图像文本识别模型构建:构建基于Transfomer基础视觉模型、基于语法修正的语言纠错模块、基于感知器模型的特征整形模块和基于交叉注意力的多维度特征融合模块;

设计基于Transformer基础视觉模型提取老挝语的文本图像特征及初始的文本图像特征的文本表示;

设计基于感知器模型的特征整形模块对提取出的文本图像特征进行凝练和降维,得到凝练图像特征;

设计基于语法修正的语言纠错模块,其编码层对基于Transformer基础视觉模型识别的初始的文本图像特征的文本表示进行编码得到源序列的隐层表示;

设计基于交叉注意力的多维度特征融合模块对源序列的隐层表示和凝练图像特征采用句法规则约束策略进行解码约束,用于实现对老挝语文本图像中文本信息的深刻挖掘;

包括:

构建基于交叉注意力的多维度特征融合模块,在基于语法修正的语言纠错模块的编码层和解码层之间,插入新的交叉注意力层,这些注意力层的键和值来源于特征整形模块生成的凝练图像特征,而查询则来自基于语法修正的语言纠错模块的输出源序列的隐层表示H;在融合语言纠错模型的老挝语图像文本识别模型训练初期,在基于交叉注意力的多维度特征融合模块的输出进入解码层前引入了tanh门控机制,该机制通过双曲正切函数tanh对输入进行非线性变换,压缩数据范围到(-1,1),用于捕获复杂的非线性关系,同时增强对特征变化的敏感性并抑制极端值的影响;具体而言,基于交叉注意力的多维度特征融合模块的输出与门控机制的可学习标量tanh(α)相乘后加入残差连接的输入表示,其中标量α初始化为0,用于确保初始模型输出与预训练语言纠错模型一致;

通过基于交叉注意力的多维度特征融合模块将源序列的隐层表示和凝练图像特征进行融合,并通过基于语法修正的语言纠错模块的解码端进行解码,得到最终的输出结果;

Step3、对构建好的融合语言纠错模型的老挝语图像文本识别模型进行训练;

Step4、老挝语文本图像识别:将训练收敛的模型进行封装,部署在服务器上,开发一套API接口,通过API调用服务器上部署的融合语言纠错模型的老挝语图像文本识别模型,用于实现对老挝语文本图像的识别。

2.根据权利要求1所述的融合语言纠错模型的老挝语图像文本识别方法,其特征在于:所述Step1的具体步骤为:Step1.1、从互联网采集老挝语文本数据,进行去重、分割以及特殊字符过滤预处理操作,构建了一套老挝语文本标签数据集,用于生成老挝语文本图像;还通过网络获取了真实场景中的老挝语文本图像;

Step1.2、通过文本图像合成算法,将预处理后的老挝语文本标签生成相应的文本图像;构建的图像数据集涵盖了多种背景、字体颜色和不同样式的老挝语文本图像,并将其划分为训练集、验证集和测试集;

Step1.3、再通过数据增强方法来提高了数据的多样性;本步骤采用了以下方法:缩放:调整老挝语文本图像的大小,模拟不同的分辨率和场景;

几何变换:对老挝语文本图像进行旋转、倾斜和平移的几何变换;

遮挡和裁剪:随机裁剪或中心裁剪部分老挝语文本图像;

噪声:在老挝语文本图像中加入随机噪声;

光照和对比度调整:通过调节亮度、对比度和饱和度,模拟不同光线环境下的文本图像特性。

3.根据权利要求1所述的融合语言纠错模型的老挝语图像文本识别方法,其特征在于:所述Step2中,设计基于Transformer基础视觉模型提取老挝语的文本图像特征及初始的文本图像特征的文本表示;包括:构建基于Transfomer基础视觉特征提取模块,通过视觉Transformer对输入的老挝语文本图像进行特征提取,并将图像转化为token序列;具体操作中,首先通过线性映射层将原始图像X1∈RH1×W1×C1划分为P×P尺寸的小块,然后将这些图像块展平成二维向量其中P2表示每个小块的分辨率,N1=H1×W1/P2表示图片块序列的长度,H1、W1、C1分别为图像的高度、宽度和通道数;接着,使用线性映射层将图像块映射到D维,作为主干网络编码层的输入;与传统视觉Transformer相似,还加入了一个D维的可学习分类token,用来提取图像的全局信息;同时,每个图像块都包含一个可学习的一维位置嵌入,最终编码器的输入表示为:其中,xcls∈R1×D表示分类token,E∈R(N1+1)×D表示线性映射矩阵,表示第N1个图像块的向量,Epos∈R(N1+1)×D表示位置编码;将Z0输入到特征编码器进行特征提取,特征编码器包括:多头自注意力层MSA用于确定特征向量之间的关系,多层感知器MLP用于执行特征提取,两者的计算公式如下:Z′m=MSA(LN(Zm-1))+Zm-1,m=1,…,12

Zm=MLP(LN(Z′m))+Z′m,m=1,…,12

其中,多层感知机由两层线性激活层组成,最终特征编码后的文本图像特征Zm∈R(N1+1)×D用于后续的文本识别;

把文本图像特征Zm通过全连接层进行一系列的线性投影得到初始的文本图像特征的文本表示。

4.根据权利要求1所述的融合语言纠错模型的老挝语图像文本识别方法,其特征在于:所述Step2中,设计基于语法修正的语言纠错模块,其编码层对基于Transformer基础视觉模型识别的初始的文本图像特征的文本表示进行编码得到源序列的隐层表示,包括:构建基于语法修正的语言纠错模块,基础语法错误纠正模型运作的基本流程包括:首先将包含语法错误的初始的文本图像特征的文本表示X2通过编码器映射得到解码器的输出,解码器的输出具体公式为:H=Encoder(X2,Θe);

H是源序列的隐层表示,Θe是编码器的可学习参数;

之后通过多头注意力机制捕获词之间的上下文关系和句子语义,计算公式为:

其中,Q是查询矩阵,K是参数矩阵,V是被查询向量具体值,dk是一个固定值用于防止输出的结果过大;

解码器通过隐层表征和已生成的目标序列动态地生成纠正后的文本,其公式为:

yt=Decoder(H,Y,Θd);

其中,Y表示已生成的部分序列,yt表示下一个目标预测词,Θd是编码器的可学习参数;

至此,在推理阶段解码器根据输入的源序列的隐层表示H,通过贪心算法生成初步的纠正好的目标文本:其中N表示总的时间步。

5.根据权利要求1所述的融合语言纠错模型的老挝语图像文本识别方法,其特征在于:所述Step2中,设计基于感知器模型的特征整形模块对提取出的文本图像特征进行凝练和降维,得到凝练图像特征;包括:构建基于感知器模型的特征整形模块,该模块以交叉注意力为核心机制,其中初始化的查询矩阵为Q∈W(N2×D1),N2表示当前序列的token的数量,D1表示通道维度;同时将要降维的高维矩阵,作为注意力公式中的键K∈W(M×D)和值V∈W(M×C)引入,M为高维矩阵的token的数量,C为通道维度,此时依据注意力公式计算查询Q和键K的乘积得到N2*M的矩阵,进一步与值V相乘后得到N2*C的低维矩阵,D表示通道维度。

6.根据权利要求1所述的融合语言纠错模型的老挝语图像文本识别方法,其特征在于:所述Step3包括:模型训练时采用交叉熵损失函数作为构建好的融合语言纠错模型的老挝语图像文本识别模型的目标优化函数,计算方式如下公式所示:Loss=λvLv+λlLl

其中,M1为输入的老挝语文本图像,θ为当前识别网络的模型参数,Yt|M1为老挝语文本图像的第t个特征序列对应的标签,Lv表示基于Transformer基础视觉模型的损失,Ll表示基于语法修正的语言纠错模块、基于感知器模型的特征整形模块和基于交叉注意力的多维度特征融合模块的总损失,λv、λl表示用于平衡损失的超参数。

7.根据权利要求1所述的融合语言纠错模型的老挝语图像文本识别方法,其特征在于:所述Step4的具体步骤为:Step4.1、实现老挝语图像文本识别模型的批处理,首先将模型输入图像的高度统一设定为32,宽度的最大值设定为Wmax,对于宽度小于Wmax的图像,通过像素填充进行补齐;

Step4.2、将训练好的老挝语文本识别模型保存为“.pth”格式文件,并通过基于Sanic框架的Web应用将模型加载至内存;

Step4.3、利用Sanic框架进行后端开发,将老挝语文本图像文本识别模型的解码过程封装为一个可调用的API接口,并完成部署,以支持Web端口的多并发请求;

Step4.4、在Web端调用部署于服务器的老挝语文本识别模型,通过输入待识别的老挝语文本图像,获取识别结果,并将识别结果展示在前端界面中,完成全流程测试。

8.融合语言纠错模型的老挝语图像文本识别装置,其特征在于,包括用于执行如权利要求1-7任一项所述的融合语言纠错模型的老挝语图像文本识别方法的模块。