欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021113451042
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种自然场景票据图像的提取与矫正方法,其特征在于,包括以下步骤:

步骤 S01,收集自然场景下拍摄的各类票据图像,根据票据的类型和票据文字的方向进行人工分类,从而获得每张票据图像的类型标签和方向标签;

步骤 S02,对票据图像进行预处理,将票据图像统一缩放成固定大小,并对票据图像做随机错切、旋转、裁剪图像增强操作;

步骤 S03,构建多标签分类的深度神经网络,对票据图像进行类型和文字方向的分类,此神经网络由一个骨干网络 DenseNet-169 和两个分支全连接层组成,DenseNet-169 负责 从图像中提取特征,每一个全连接层共享提取的特征信息,分别负责不同的分类任务;

步骤 S04,在训练阶段,使用交叉熵损失函数度量全连接层输出的预测结果与标签之间的误差,损失由两个全连接层计算的误差乘以不同的权重参数并相加得到;在反向传 播时,利用 SGD 优化器得到损失最低的多标签分类模型;

步骤 S05,利用训练好的多标签分类模型对待分类的票据图像进行分类,得到图像的票据类型和文字方向,接着根据得到的文字方向对票据图像进行旋转矫正;

步骤 S06,收集自然场景中拍摄的各类票据,并在收集的图像上人工地将票据的主体区域使用多边形标出;

步骤 S07,对标注的图像进行数据清洗,减少数据标注的错误,在标注的图像上随机地加入图像增强操作,并根据标注的坐标转化为掩膜图像作为训练的标签;

步骤 S08,采用深度学习显著区域提取网络 U²-Net,处理自然场景中的票据图像,提取各类票据的主体区域,此神经网络由嵌套的 U-Net 网络组成,每一层的 U-Net 输出该层预测的特征图,并将这些输出的特征图融合得到票据主体区域的概率图;

步骤 S09,U²-Net 训练阶段的损失函数由每一层输出的特征图与标注区域掩膜的交叉 熵损失相加组成,训练时使用 Adam 优化器,最后保存损失最低的模型;

步骤 S10,输入自然场景中的票据图像到训练好的模型中,得到票据主体区域的概率图,根据输出的概率图映射到原图中的区域,获得票据主体区域图;

步骤 S11,根据步骤 S05 获得的票据类型与步骤 S10 得到票据的主体区域,使用后处 理的方法对票据的视角和文字小角度进行微调,得到无背景干扰、文字方向为正的票据主体区域。

2.根据权利要求 1 所述的一种自然场景票据图像的提取与矫正方法,其特征在于,步骤 S03 所述的多标签分类的深度神经网络由一个骨干网络 DenseNet-169 和两个分支全连接层组 成,主要结构如下:DenseNet-169 主要由四个具有紧密连接性质的稠密块(Dense Block)组成,相邻两个稠密块之间有一层过渡层Transition Layer;

在 DenseNet-169 最后输出的特征图上,分别接了两个全连接层,共享特征图信息,处理不同的分类任务。

3.根据权利要求 1 所述的一种自然场景票据图像的提取与矫正方法,其特征在于,步骤 S07 中所述的数据增强与训练标签的生成,具体步骤如下:步骤 S07-1,在标注数据上检查标注票据主体区域的关键点是否正确,形成初始数据集;

步骤 S07-2,随机地选择加入图像缩放、直方图变换化、亮度变化、高斯模糊、方向 旋转、椒盐噪声图像增强方法操作的一种或者多种,作为训练数据集的一部分;

步骤 S07-3,训练数据集中人工标注的票据主体区域关键点,将标注的票据主体区域与自然背景区域做划分并提取,并生成原图的掩膜作为训练标签。

4.根据权利要求 1 所述的一种自然场景票据图像的提取与矫正方法,其特征在于,步骤 S08 的深度学习模型 U²-Net 由嵌套的 U-Net 网络组成,包括:第一层 U-Net 模块,由编码模块和解码模块组成;所述编码模块对输入图像进行逐层下采样并提取多尺度特征,所述解码模块对对应的多尺度特征进行逐层上采样并与所述编码模块的特征进行融合,其中最深层的编码特征作为编码模块与解码模块之间的连接部分,所述解码模块在完成特征融合和上采样的同时输出对应尺度的特征图用于损失计算;

第二层 U-Net 模块嵌套于所述第一层 U-Net 模块中,所述第二层 U-Net 模块同样包括编码模块和解码模块,用于进一步提取和融合多尺度特征,其中在网络逐层递进过程中,所述第二层 U-Net 模块的编码模块与解码模块的卷积运算单元和上采样单元的数量随网络深度进行调整。

5.根据权利要求 1 所述的一种自然场景票据图像的提取与矫正方法,其特征在于,步骤 S10 中所述的输入自然场景中的票据图像到训练好的模型中,得到票据主体区域的概率图, 具体步骤如下:步骤 S10-1,输入图像经过等比例的尺度缩放后,对缩放的概率图做归一化运算;

步骤 S10-2,预处理的数据经过 Encode 和 Decode 结构的网络得到每一层输出的特征图,并将这些特征图特征融合得到最后输出的特征图;

步骤 S10-3,输出的特征图得到最大值和最小值后,使用输出特征图和最小值的差值与最大值和最小值的差值相除的归一化处理得到票据主体区域的概率图。

6.根据权利要求 1 所述的一种自然场景票据图像的提取与矫正方法,其特征在于,步骤 S11 中所述的使用后处理的方法对票据的视角和文字角度进行微调,指根据 U²-Net输出的概率图与预测的票据类型来进行图像学的后处理操作,具体步骤如下:步骤 S11-1,将预测得到的概率图恢复到原始图像的大小,进行填充边界、灰度化和二值化的预处理,在二值图上检测轮廓,寻找面积最大的轮廓,并计算其最小外接矩形;

步骤 S11-2,根据输入的票据类型,取最小外接矩形的长边或者短边作为提取的平行边,同时,在最大轮廓上经过合并筛选后取长度较长的一组线段,并计算提取的平行边 与轮廓线段的交点;

步骤 S11-3,使用不同的交点进行组合并分别计算四边形的面积,排除形状与矩形相差过大的四边形,取最小外接矩形与四边形面积交并比最大的四边形,同时需进行校验,若是该四边形的面积过小,则取最小外接矩形为最终的四边形;

步骤 S11-4,在原始的票据图像上填充和步骤 S11-1 所述边界,根据步骤 S11-3 取得的四边形在填充好边界的票据图像上做透视变换的操作,最终得到票据的主体区域 且文字与视角方向为正的票据主体区域图像。