欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2019111996146
申请人: 河海大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种自然场景曲线文本检测方法,其特征在于,包括如下步骤:

(1)获取用于训练场景曲线文本检测的多个图像数据集;

(2)利用卷积神经网络CNN对步骤(1)中获得的图像数据集进行特征学习,使用维度分解区域提议网络DeRPN生成输入图像的文本提议;

(3)使用细化网络对步骤(2)中的文本提议进行验证和细化,包括文本/非文本分类、边界框回归和任意形状文本区域表示;

(4)对步骤(3)中搭建的网络进行监督训练得到检测器模型;

(5)利用步骤(4)中的检测器模型对待检测的图片进行检测,输出多边形文本区域得到最终检测结果。

2.如权利要求1所述的自然场景曲线文本检测方法,其特征在于,步骤(1)中,所述图像数据集为已有的公共的场景曲线文本图像数据集,或者临时采集场景中的曲线文本图像数据集,所述图像数据集中包含有N张训练图片,每张训练图片中至少有一个曲线文本区域,并且有一个以矩形或者多边形的顶点坐标来描述图片中所有文本区域位置信息的标注文件,所述标注文件称为标签。

3.如权利要求1所述的自然场景曲线文本检测方法,其特征在于,步骤(2)中,从卷积神经网络CNN中提取特征(x)并输入到回归层和分类层,回归层由卷积层或全连接层实现,是预测参数化坐标(t)的线性运算,为了获得预测的边界框,根据anchor box(B)对这些参数化坐标进行解码;分类层对预测值应用激活函数,以生成边界框的概率(PB);使用VGG16作为主干网络,将DeRPN附加到其conv5层,DeRPN通过维度分解机制,引入anchor string作为对象宽度和高度的独立回归参考,同时预测独立的段(Sw(x,w),Sh(y,h))和相应的概率 而不是完整的边界框,此过程的数学描述如下:

其中,Wr,br表示回归层的权重和偏差,Wc,bc表示分类层的权重和偏差,x,y,w,h是边界框的坐标,xa,ya,wa,ha是anchor string的相应坐标,ψ表示用于解码坐标的反参数化函数,σ表示激活函数,tw,th表示预测宽和高的参数化坐标,Sw(x,w),Sh(y,h)表示预测宽和高的独立的段, 表示对象宽度和高度的独立回归参考, 表示相应的宽和高的概率;

由于检测结果需要二维边界框,需要合理地组合预测的分段以恢复边界框,组合过程数学描述如下:B(x,y,w,h)=f(Sw(x,w),Sh(y,h))

其中,f表示组合预测段的一种规则或算法,g是一个函数,它评估组合边界框的概率,PB表示生成边界框的概率,B(x,y,w,h)表示组合成的边界框。

4.如权利要求1所述的自然场景曲线文本检测方法,其特征在于,步骤(3)中,利用文本的几何属性:文本区域、文本中心线和边界框偏移对步骤(2)中的文本边界框进行精确的形状表示,文本中心线是由文本边界框收缩而来,边界偏移是四个通道图,只在中心线特征图的正响应对应位置有值;在预测文本中心线上从左到右等间距采样n个点,绘制一条垂直于其切线的法线,该法线与上下边界线相交,得到两个边界点;对于每个中心线采样的点,通过计算从其自身到其两个相关边界点的距离来获得四个边界偏移;通过顺时针来连接所有边界点,获得完整的文本多边形表示。

5.如权利要求1所述的自然场景曲线文本检测方法,其特征在于,步骤(4)中,在构建自然场景曲线文本检测方法的检测器模型中,使用如下损失函数进行损失的计算:L=La+λLb

其中,L、La和Lb分别为总损失、第一阶段损失和第二阶段损失,λ是平衡第一阶段损失和第二阶段损失之间的权重系数。

6.如权利要求5所述的自然场景曲线文本检测方法,其特征在于,第一阶段损失定义如下:其中,Rj={k|Sk=aj,k=1,2,…,M},

这里把anchor string设置为几何级数用{an}表示即(16,32,64,128,256,512,1024),N是几何级数{an}中的项数,M是批量大小,S表示anchor string,Pi表示小批量中第i个anchor string的预测概率;如果anchor string为正,则ground-truth标签 设置为1,否则 为0;ti表示参数化坐标的预测向量, 是对应的ground-truth向量,A是对齐的anchor string集合,Rj表示包含相同尺度的anchor string索引集,j用于表示与{an}中的项aj对应的尺度,类似地,Gj是包含相同尺度的正对齐的anchor string索引集;分类损失Lcls是交叉熵损失,回归损失Lreg是平滑的L1损失,λ1是Lcls和Lreg的平衡参数。

7.如权利要求5所述的自然场景曲线文本检测方法,其特征在于,第二阶段损失定义如下:Lb=L1+λ2L2+λ3L3

其中,L1、L2和L3分别为文本/非文本分类损失、边界框回归损失和任意形状表示损失,λ2、λ3是平衡参数。

8.如权利要求7所述的自然场景曲线文本检测方法,其特征在于,文本/非文本分类损失是二分类损失,L1=Lcls(P,t)=-logPt,t是分类标签的标记,t=1表示是文本,t=0表示不是文本,参数P=(P0,P1)是softmax计算后的文本和非文本的置信度。

9.如权利要求1所述的自然场景曲线文本检测方法,其特征在于,边界框回归损失使用平滑L1损失, v=(vx,vy,vw,vh)是边界框回归的目标,包括中心点的坐标、宽和高, 是每个文本提议的预测值,使用Faster R-CNN中

* *

给出的v和v 参数化,其中v和v 指定了一个目标提议的尺度不变性和对数空间高/宽偏移性。

10.如权利要求1所述的自然场景曲线文本检测方法,其特征在于,任意形状表示损失L3=μ1LPr+μ2LPcl+μ3Lborder,LPr、LPcl是文本区域和文本中心线的dice系数损失,Lborder是通过平滑L1损失计算的,μ1、μ2、μ3是平衡参数。