欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022111192688
申请人: 山东科技大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于Mask R-cnn算法和类型分割的扫描文件版面分析方法,其特征在于,将扫描的原始彩色图像作为输入,首先对图像中的表格进行识别并分割,去除表格后的图像作为输入,进行插图的识别并分割,去除插图,然后去除图像中的红章,最后将去除表格、插图和红章后的图像进行标题识别,未识别部分作为文本部分输出,具体包括如下步骤:步骤1、定义载入接口和Mask R-cnn模型,进行模型训练;

对于识别表格、插图、标题以及文本采用不同的数据集,分别训练出识别表格、插图、标题的模型,最后保存训练好的模型参数,此时训练获得三个模型:表格识别模型、插图识别模型、标题识别模型,每一个识别模型均采用Mask R-cnn进行训练得到,并选用残差网络ResNet101作为Mask R-cnn的主干特征提取网络;

步骤2、实时获取扫描文件原始彩色图像,并进行预处理;

步骤3、基于训练完成的模型进行分类识别,首先基于表格识别模型识别彩色图像中的表格区域,提取表格,输出表格和去除表格后的图像1;

步骤4、然后识别图像1中的插图区域,提取插图,输出插图和去除插图后的图像2;

步骤5、去除图像2中的红章,输出得到图像3;

步骤6、最后识别图像3中的标题并标注,未标注部分为文本,输出标注标题后的图像。

2.根据权利要求1所述的基于Mask R-cnn算法和类型分割的扫描文件版面分析方法,其特征在于,所述步骤1的具体过程如下:步骤1.1、对于定义载入接口,首先对获取到的历史数据集进行重写操作,对数据集进行打乱排序,划分训练集以及测试集,其次获取图像和mask的映射关系,将mask转换为Tensor,获取到mask掩码的坐标以及标签,用于图像分割;最后,对数据集中的图像进行增强处理,并将原始图像转换为 PyTorch 张量;

步骤1.2、对于定义Mask R-cnn模型,包括获取模型架构以及模型的输入特征数,将输出模型的特征类别和mask类别的参数均修改为2;还包括定义训练和验证数据加载器,使用辅助函数获取Mask R-cnn模型;

步骤1.3、模型训练中采用Adam优化器进行优化,从而调整模型更新权重和偏差参数 ,由公式(1)得到,(1)

其中,表示上一次迭代得到的偏差参数,表示默认学习率,表示梯度均值,表示梯度平方的指数移动平均数,;

其中,设置学习速率计划程序每 3 个 epoch 将学习速率降低 10 倍;

在模型训练期间对于每一个RoI接口定义一个多任务损失函数L,通过调用优化器不断更新学习速率;训练结束后,保存训练好的模型参数;

L由公式(2)得到,

(2)

其中,表示分类损失,表示回归框损失,表示新加入的mask损失。

3.根据权利要求1所述基于Mask R-cnn算法和类型分割的扫描文件版面分析方法,其特征在于,所述步骤2中,对扫描文件原始彩色图像进行图像增强,并将增强后的图像换为RGB三通道格式。

4.根据权利要求1所述的基于Mask R-cnn算法和类型分割的扫描文件版面分析方法,其特征在于,所述步骤3的具体过程如下:步骤3.1、将预处理后的扫描文件图像输入到一个预训练完成的残差网络ResNet101和FPN中,获得对应的特征图,即将扫描文件图像输入到ResNet101中进行表格提取,ResNet101分为5个阶段,C1-C5为每个阶段对应的输出,此时输出对应该扫描文件中所有可能的表格区域;

步骤3.2、对所有可能的表格区域中的每一点设定候选坐标ROI,从而获得多个候选坐标ROI;

步骤3.3、将多个候选坐标ROI送入RPN网络进行二值分类和BB回归,以过滤掉一部分候选坐标ROI;具体过程为:将候选坐标ROI先进行卷积和池化,使其特征图的大小不断减小;然后进行反卷积的插值操作,不断的增大其特征图,最后对每一个像素值进行分类,从而实现对输入图像的准确分割;

步骤3.4、对剩下的候选坐标ROI进行ROIAlign操作,先将原图和特征图的像素对应起来,然后将特征图和固定的特征对应起来,通过双线性插值来得到固定四个点坐标的像素值,双线性插值是在两个方向上做线性插值,先在x方向上进行线性插值,由公式(3)(4)得到;然后在y方向上进行插值,由公式(5)得到,(3)

(4)

(5)

其中,表示求函数f在点的坐标,,,假设已知函数在,,,四点的值;

步骤3.5、对候选坐标ROI进行分类、框回归和mask预测,结果返回预测得分、坐标以及标签,根据得分,判别识别的准确率,结果输出得分大于85的坐标和标签,输出的坐标确定的位置为真实表格区域;

步骤3.6、对真实表格区域进行分割并保存;获取到真实表格的坐标后,通过PIL中的crop()方法进行裁剪并保存,输出保存的表格和图像1。

5.根据权利要求1所述基于Mask R-cnn算法和类型分割的扫描文件版面分析方法,其特征在于,所述步骤4的具体过程如下:步骤4.1、将图像1中的被裁剪部分置为背景色,循环一遍裁剪部分所有的像素点,将每个像素点置为背景色,作为识别插图的输入;

步骤4.2、将图像输入到插图识别模型中;首先将图像输入到预训练好的残差网络ResNet101中,获得对应的特征图,其次对这个插图区域中的每一点设定候选坐标ROI获得多个候选坐标ROI,然后将这些候选坐标ROI送入RPN网络滤掉一部分候选坐标ROI,最后对剩下的ROI进行ROIAlign操作,通过双线性插值来得到固定四个点坐标的像素值,此时通过固定四个点的坐标确定真实插图区域位置;

步骤4.3、对插图区域进行分割并保存;获取到插图区域的坐标位置后,通过PIL中的crop()方法进行裁剪并保存,输出保存的插图和图像2。

6.根据权利要求1所述基于Mask R-cnn算法和类型分割的扫描文件版面分析方法,其特征在于,所述步骤5的具体过程如下:步骤5.1、设定阈值:在cv2.threshold函数中传入一个参数cv2.THRESH_OTSU,并且把阈值thresh的初始值设为0,cv2.threshold函数会自动找到thresh的最优阈值;

步骤5.2、去除红章,首先将RGB图像的三个通道拆分开来,得到蓝色、绿色和红色通道的灰度图,其次采取OpenCV中的cv2.threshold()方法进行二值化,将一个灰色图像的像素灰度值大于最优阈值thresh的红章部分处理成白色,小于最优阈值的处理成黑色;处理结束后输出去除红章的图像3。

7.根据权利要求1所述基于Mask R-cnn算法和类型分割的扫描文件版面分析方法,其特征在于,所述步骤6的具体过程如下:步骤6.1、将图像3中的被裁剪部分置为背景色,循环一遍被裁剪部分的所有像素点,将每个像素点置为背景色,作为识别标题的输入;

步骤6.2、将图像输入到标题识别模型中;首先将图像输入到预训练好的残差网络ResNet101中,获得对应的特征图,其次对这个标题区域中的每一点设定候选坐标ROI获得多个候选坐标ROI,然后将这些候选坐标ROI送入RPN网络滤掉一部分候选坐标ROI,最后对剩下的ROI进行ROIAlign操作,通过双线性插值来得到固定四个点坐标的像素值,此时固定四个点的坐标即为真实标题区域位置;

步骤6.3、对标题进行识别并框选标题,将标题区域打上标签title,未识别部分作为文本输出;最后输出标注标题后的图像。