欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 201610059409X
申请人: 河南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.自然场景中商铺标牌汉字区域自动检测方法,其特征在于,包括以下步骤:

A、扫描自然场景中的商铺标牌获得原始图像,从原始图像上截取矩形的采样区图像,并将采样区图像的RGB三通道展开,形成M*N行3列的矩阵,其中M为采样区图像的宽度,N为采样区图像的高度,分别将矩阵的每一行作为三维空间的一个点进行Kmeans聚类,设定聚类的类别数为2,得到两个聚类中心点,分别为向量V1和V2,然后进入步骤B;

B、分别计算原始图像的每个像素点到向量V1和V2的距离,并创建两张与原始图像大小相同的初始化二值图bg1和bg2,初始化二值图bg1和bg2中所有像素点的像素值均为0,设定距离阈值X,依次比较原始图像的每个像素点到向量V1的距离与X的大小关系,当原始图像的像素点到向量V1的距离小于X时,在初始化二值图bg1中将与该像素点坐标相同的像素点的像素值置为1,得到粗轮廓二值图BG1;依次比较原始图像的每个像素点到向量V2的距离与X的大小关系,当原始图像的像素点到向量V2的距离小于X时,在初始化二值图bg2中将与该像素点坐标相同的像素点的像素值置为1,得到粗轮廓二值图BG2,分别对粗轮廓二值图BG1和BG2做形态学处理并进行连通域分析,从粗轮廓二值图BG1和BG2中选出面积最大的连通域进行修复和填充后作为背景轮廓,得到背景轮廓二值图;

C、将HSV颜色空间划分为黑色、白色、红色、黄色、绿色、青色、蓝色、品红八块颜色空间,八块颜色空间的划分规则如下:

黑色空间,v<0.3 or(v<0.5 and s<=0.25);

白色空间,v>=0.5 and s<=0.25;

红色空间,(h<1/12 or h>=11/12)and v>0.3 and s>=0.25;

黄色空间,h>=1/12 and h<3/12 and v>0.3 and s>=0.25;

绿色空间,h>=3/12 and h<5/12 and v>0.3 and s>=0.25;

青色空间,h>=5/12 and h<7/12 and v>0.3 and s>=0.25;

蓝色空间,h>=7/12 and h<9/12 and v>0.3 and s>=0.25;

品红空间,h>=9/12 and h<11/12 and v>0.3 and s>=0.25;

式中h代表HSV颜色空间中的色调,s代表HSV颜色空间中的饱和度,v代表HSV颜色空间中的明度,然后进入步骤D;

D、创建8张与原始图像大小相同的二值图,并将每张二值图上所有像素点的像素值置为0,将原始图像从RGB空间转换到HSV颜色空间中,然后判断HSV颜色空间中原始图像的每个像素点所属的颜色类型,将属于同一颜色类型的所有像素点映射到一张二值图的对应位置处,并将二值图上对应位置处的像素点的像素值置为1,最后得到8张颜色分布二值图,然后进入步骤E;

E、将8张颜色分布二值图分别与背景轮廓二值图做与运算后再进行形态学处理,滤除8张颜色分布二值图中的细小沟壑和细线,得到8张细轮廓分布二值图,分别对8张细轮廓分布二值图进行连通域扫描,利用八连通标记法得到连通图对应的标记图,并计算每个连通域的属性,然后对8张细轮廓分布二值图中不符合汉字笔画特征的连通域进行过滤,得到8张笔画级分布二值图,分别对每一张笔画级分布二值图中符合汉字笔画特征的连通域进行合并,将合并后的多个连通域记为一个标记区域并确定标记值,对于任意两个标记区域,若一个标记区域的质心坐标位于另一个标记区域的最小外接矩形内,则将该标记区域的标记值置为另一个标记区域的标记值,最后对于每一张笔画级分布二值图,依次将标记值相同的标记区域记为一个文本行,获得8张文本行二值图,然后进入步骤F;

F、对于8张文本行二值图中的任意一个文本行,当文本行的最小外接矩形的高度小于背景轮廓的最小外接矩形高度的1/20、文本行的最小外接矩形的宽高比小于7/10或者文本行的面积与其最小外接矩形的面积比小于1/10或大于4/5时,将该文本行从对应的文本行二值图上删除,得到的8张字符图像二值图,分别计算每一张字符图像二值图中所有文本行的面积和,当计算得到的面积和小于背景轮廓二值图的最小外接矩形面积的1/200时,将对应的字符图像二值图删除,并分别计算剩余的字符图像二值图中所有文本行的最小外接矩形的坐标,然后进入步骤G;

G、创建一张与原始图像大小相同的空白图像,依次将剩余的字符图像二值图中所有文本行的最小外接矩形标记在空白图像的相应位置处,得到初级识别图像,分别将初级识别图像中由两个以上最小外接矩形组成的边界呈不规则多边形的独立区域作为一个识别区域,对于每一个识别区域,统计各个顶点的坐标,并从顶点坐标中选出x坐标的最小值记为xmin,选出x坐标的最大值记为xmax,选出y坐标的最小值记为ymin,选出y坐标的最大值记为ymax,以(xmin,ymin),(xmax,ymin),(xmin,ymax),(xmax,ymax)四个坐标作为顶点创建矩形区域,则从各个识别区域中得到的所有矩形区域以及初级识别图像中剩余的最小外接矩形组成的区域即为原始图像中的汉字区域。

2.如权利要求1所述的自然场景中商铺标牌汉字区域自动检测方法,其特征在于,所述的步骤A包括以下步骤:

A1、扫描自然场景中的商铺标牌获得原始图像,在扫描线上大于1/3长度小于2/3长度的区段内任取一点作为基点,以此基点为中心点构建一个R*kR的矩形采样区,其中R为矩形采样区的宽度,R的取值大于原始图像宽度的1/7,小于原始图像宽度的1/4,k为矩形采样区的宽高比,k的取值范围为1/4

A2、将采样区图像的RGB三通道展开,形成M*N行3列的矩阵,其中M为采样区图像的宽度,N为采样区图像的高度,将矩阵的每一行作为三维空间的一个点,采用欧氏距离进行Kmeans聚类,设定聚类的类别数为2,得到两个聚类中心点,分别为向量V1和V2。

3.如权利要求1所述的自然场景中商铺标牌汉字区域自动检测方法,其特征在于,所述的步骤B包括以下步骤:

B1、将原始图像中的各个像素点依次标记为1,2,……,n,n为原始图像中像素点的个数,计算原始图像的像素点x与向量V1和V2的欧式距离L1(x)和L2(x),其中x=1,2,……,n,然后进入步骤B2;

B2、创建两张与原始图像大小相同的初始化二值图bg1和bg2,并将两张初始化二值图bg1和bg2中所有像素点的像素值置为0,设定距离阈值X,当原始图像的像素点x与向量V1的欧式距离L1(x)<X时,将初始化二值图bg1中与像素点x位置相同的像素点的像素值置为1,得到粗轮廓二值图BG1,当原始图像的像素点x与向量V2的欧式距离L2(x)<X时,将初始化二值图bg2中与像素点x位置相同的像素点的像素值置为1,得到粗轮廓二值图BG2,然后进入步骤B3;

B3、分别对粗轮廓二值图BG1和BG2做形态学处理,即首先通过腐蚀运算去除粗轮廓二值图BG1和BG2的细线,然后通过膨胀运算和闭运算去除粗轮廓二值图BG1和BG2的细小沟壑,最后对粗轮廓二值图BG1和BG2进行连通域分析,从粗轮廓二值图BG1和BG2中选出面积最大的连通域作为背景轮廓,然后进入步骤B4;

B4、填充背景轮廓中的孔洞,并修复背景轮廓边缘上的凹陷,得到背景轮廓二值图。

4.如权利要求1所述的自然场景中商铺标牌汉字区域自动检测方法,其特征在于:所述的步骤E包括以下步骤:

E1、将8张颜色分布二值图分别与背景轮廓二值图做与运算,得到8张粗轮廓分布二值图,然后进入步骤E2;

E2、分别对8张粗轮廓分布二值图做形态学处理,即对每一张粗轮廓二值图在垂直和水平两个方向上做7个像素的闭运算和开运算,滤除细小沟壑和细线,得到8张细轮廓分布二值图,然后进入步骤E3;

E3、分别对8张细轮廓分布二值图进行8连通域扫描,并计算每一张细轮廓分布二值图中每个连通域的面积、质心坐标和最小外接矩形,然后进入步骤E4;

E4、对于每一张细轮廓分布二值图中的任意一个连通域,当其满足下述三个过滤条件中的至少一个时,将此连通域内所有像素点的像素值置为0,得到8张笔画级分布二值图,然后进入步骤E5,其中三个过滤条件分别为:a、连通域的面积与其最小外接矩形的面积比小于1/5;

b、连通域的最小外接矩形的宽度小于原始图像宽度的1/200或大于原始图像宽度的1/

2;

c、连通域的最小外接矩形的宽高比小于1/10或大于10;

E5、对于得到的8张笔画级分布二值图,对每一张笔画级分布二值图均作如下处理:

E5-1、将笔画级分布二值图中的各个连通域依次标记为C1,C2,……,Ci,i为笔画级分布二值图中连通域的个数,分别将C1,C2,……,Ci的标记值置为各自的下标值,即C1的标记值为1,C2的标记值为2,以此类推,Ci的标记值为i,并定义独立连通域集合P,独立连通域集合P中初始的连通域个数为0;

E5-2、从C1,C2,……,Ci中选取任意两个连通域的最小外接矩形向纵坐标轴上投影,得到两条竖直投影线段,定义disH为两条竖直投影线段间的重叠长度,并规定当两条竖直投影线段没有重叠时disH值为0,从C1,C2,……,Ci中选取任意两个连通域的最小外接矩形向横坐标轴上投影,得到两条水平投影线段,定义dis为两条水平投影线段间的最短距离,当两条水平投影线段相邻或重叠时dis值为0,当两条水平投影线段没有重叠时,dis值为左侧水平投影线段的右端点到右侧水平投影线段的左端点之间的距离;

E5-3、定义avgW为字符平均宽度,avgW的初始值为C1的最小外接矩形的宽度,定义sum为字符行总宽度,sum的初始值为avgW,定义cnt为计数器,cnt的初始值为1;

选取C1和C2的最小外接矩形向纵坐标轴上投影后得到的两条竖直投影线段,当两条竖直投影线段间的重叠长度disH小于C1的最小外接矩形高度的1/4时,将C2中所有像素点的像素值置为0,并将C2的标记值置为0,当两条竖直投影线段间的重叠长度disH大于等于C1的最小外接矩形高度的1/4时,选取C1和C2的最小外接矩形向横坐标轴上投影后得到的两条水平投影线段,当两条水平投影线段间的最短距离dis小于等于avgW的1.5倍时,将C2的标记值置为C1的标记值1,同时更新sum的值为sum加C2的最小外接矩形的宽度,然后将cnt的值加1,并更新avgW的值为sum除以cnt,当两条水平投影线段间的最短距离dis大于avgW的1.5倍时,将C2放入独立连通域集合P中;

选取C1和C3的最小外接矩形向纵坐标轴上投影后得到的两条竖直投影线段,当两条竖直投影线段间的重叠长度disH小于C1的最小外接矩形高度的1/4时,将C3中所有像素点的像素值置为0,并将C3的标记值置为0,当两条竖直投影线段间的重叠长度disH大于等于C1的最小外接矩形高度的1/4时,选取C1和C3的最小外接矩形向横坐标轴上投影后得到的两条水平投影线段,当两条水平投影线段间的最短距离dis小于等于avgW的1.5倍时,将C3的标记值置为C1的标记值1,同时更新sum的值为sum加C3的最小外接矩形的宽度,然后将cnt的值加1,并更新avgW的值为sum除以cnt,当两条水平投影线段间的最短距离dis大于avgW的1.5倍时,将C3放入独立连通域集合P中;

以此类推,直至选取C1和Ci的最小外接矩形向纵坐标轴上投影后得到的两条竖直投影线段,当两条竖直投影线段间的重叠长度disH小于C1的最小外接矩形高度的1/4时,将Ci中所有像素点的像素值置为0,并将Ci的标记值置为0,当两条竖直投影线段间的重叠长度disH大于等于C1的最小外接矩形高度的1/4时,选取C1和Ci的最小外接矩形向横坐标轴上投影后得到的两条水平投影线段,当两条水平投影线段间的最短距离dis小于等于avgW的1.5倍时,将Ci的标记值置为C1的标记值1,同时更新sum的值为sum加Ci的最小外接矩形的宽度,然后将cnt的值加1,并更新avgW的值为sum除以cnt,当两条水平投影线段间的最短距离dis大于avgW的1.5倍时,将Ci放入独立连通域集合P中,然后进入步骤E5-4;

E5-4、统计独立连通域集合P中的连通域个数,当独立连通域集合P中的连通域个数大于等于2时,进入步骤E5-5,当独立连通域集合P中的连通域个数为0或1时,进入步骤E5-7;

E5-5、将独立连通域集合P中的多个连通域全部取出,使独立连通域集合P成为空集,然后对取出的多个连通域按照下标大小从小到大依次排列,定义avgW为字符平均宽度,avgW的初始值为第一个连通域的最小外接矩形的宽度,定义sum为字符行总宽度,sum的初始值为avgW,定义cnt为计数器,cnt的初始值为1;

选取第一个连通域和第二个连通域的最小外接矩形向纵坐标轴上投影后得到的两条

竖直投影线段,当两条竖直投影线段间的重叠长度disH小于第一个连通域的最小外接矩形高度的1/4时,将第二个连通域中所有像素点的像素值置为0,并将第二个连通域的标记值置为0,当两条竖直投影线段间的重叠长度disH大于等于第一个连通域的最小外接矩形高度的1/4时,选取第一个连通域和第二个连通域的最小外接矩形向横坐标轴上投影后得到的两条水平投影线段,当两条水平投影线段间的最短距离dis小于等于avgW的1.5倍时,将第二个连通域的标记值置为第一个连通域的标记值,同时更新sum的值为sum加第二个连通域的最小外接矩形的宽度,然后将cnt的值加1,并更新avgW的值为sum除以cnt,当两条水平投影线段间的最短距离dis大于avgW的1.5倍时,将第二个连通域放入独立连通域集合P中;

选取第一个连通域和第三个连通域的最小外接矩形向纵坐标轴上投影后得到的两条

竖直投影线段,当两条竖直投影线段间的重叠长度disH小于第一个连通域的最小外接矩形高度的1/4时,将第三个连通域中所有像素点的像素值置为0,并将第三个连通域的标记值置为0,当两条竖直投影线段间的重叠长度disH大于等于第一个连通域的最小外接矩形高度的1/4时,选取第一个连通域和第三个连通域的最小外接矩形向横坐标轴上投影后得到的两条水平投影线段,当两条水平投影线段间的最短距离dis小于等于avgW的1.5倍时,将第三个连通域的标记值置为第一个连通域的标记值,同时更新sum的值为sum加第三个连通域的最小外接矩形的宽度,然后将cnt的值加1,并更新avgW的值为sum除以cnt,当两条水平投影线段间的最短距离dis大于avgW的1.5倍时,将第三个连通域放入独立连通域集合P中;

以此类推,直至选取第一个连通域和最后一个连通域的最小外接矩形向纵坐标轴上投影后得到的两条竖直投影线段,当两条竖直投影线段间的重叠长度disH小于第一个连通域的最小外接矩形高度的1/4时,将最后一个连通域中所有像素点的像素值置为0,并将最后一个连通域的标记值置为0,当两条竖直投影线段间的重叠长度disH大于等于第一个连通域的最小外接矩形高度的1/4时,选取第一个连通域和最后一个连通域的最小外接矩形向横坐标轴上投影后得到的两条水平投影线段,当两条水平投影线段间的最短距离dis小于等于avgW的1.5倍时,将最后一个连通域的标记值置为第一个连通域的标记值,同时更新sum的值为sum加最后一个连通域的最小外接矩形的宽度,然后将cnt的值加1,并更新avgW的值为sum除以cnt,当两条水平投影线段间的最短距离dis大于avgW的1.5倍时,将最后一个连通域放入独立连通域集合P中,然后进入步骤E5-6;

E5-6、按照步骤E5-5中的方法对独立连通域集合P进行重复处理,直至独立连通域集合P中的连通域个数为0或1,然后进入步骤E5-7;

E5-7、依次将笔画级分布二值图中标记值相同的连通域记为一个标记区域,并将连通域的标记值作为该标记区域的标记值,然后分别计算各个标记区域的面积、质心坐标和最小外接矩形,然后进入步骤E6;

E6、对于步骤E5得到的8张笔画级分布二值图,对每一张笔画级分布二值图均作如下处理:

E6-1、对于任意两个标记区域,若一个标记区域的质心坐标位于另一个标记区域的最小外接矩形内,则将该标记区域的标记值置为另一个标记区域的标记值,然后进入步骤E6-

2;

E6-2、依次将笔画级分布二值图中标记值相同的标记区域记为一个文本行,然后计算各个文本行的宽度、高度、面积和最小外接矩形,获得文本行二值图。

5.如权利要求1所述的自然场景中商铺标牌汉字区域自动检测方法,其特征在于:所述的步骤F包括以下步骤:

F1、针对得到的8张文本行二值图,对于每一张文本行二值图中的任意一个文本行,当其满足下述三个过滤条件中的至少一个时,将该文本行内所有像素点的像素值置为0,得到

8张候选图像二值图,然后进入步骤F2,其中三个过滤条件分别为:

d、文本行的高度小于背景轮廓的最小外接矩形高度的1/20;

e、文本行的宽高比小于7/10;

f、文本行的面积与其最小外接矩形的面积比小于1/10或大于4/5;

F2、针对得到的8张候选图像二值图,对于每一张候选图像二值图中的任意一个文本行,当其满足下述两个过滤条件中的至少一个时,将该文本行内所有像素点的像素值置为

0,得到8张字符图像二值图,然后进入步骤F3,其中两个过滤条件分别为:

g、对文本行的最小外接矩形按列求和,得到一系列的列投影值,列投影值超过最小外接矩形高度的70%的连续列数大于最小外接矩形高度的0.7倍;

h、文本行的面积小于背景轮廓二值图的最小外接矩形面积的1/1000;

F3、针对得到的8张字符图像二值图,首先依次计算每一张字符图像二值图中组成各个文本行的所有连通域的面积和,当计算得到的面积和小于背景轮廓二值图的最小外接矩形面积的1/200时,将对应的字符图像二值图删除,然后分别计算剩余的字符图像二值图中所有文本行的最小外接矩形的坐标。

6.如权利要求1所述的自然场景中商铺标牌汉字区域自动检测方法,其特征在于:所述的步骤G包括以下步骤:

G1、创建一张与原始图像大小相同的空白图像,依次将剩余的字符图像二值图中所有文本行的最小外接矩形标记在空白图像的相应位置处,得到初级识别图像,将初级识别图像中的最小外接矩形依次标记为R1,R2,……,Rj,j为初级识别图像中最小外接矩形的个数,并计算各个最小外接矩形的中心坐标,然后进入步骤G2;

G2、依次判断R2,R3,……,Rj的中心与R1的位置关系,从R1,R2,……,Rj中选取中心位于R1内部或边界上的所有最小外接矩形,放入R1合并集合内;

依次判断R1,R3,……,Rj的中心与R2的位置关系,从R1,R2,……,Rj中选取中心位于R2内部或边界上的所有最小外接矩形,放入R2合并集合内;

以此类推,直至依次判断R1,R2,……,Rj-1的中心与Rj的位置关系,从R1,R2,……,Rj中选取中心位于Rj内部或边界上的所有最小外接矩形,放入Rj合并集合内,然后进入步骤G3;

G3、对R1合并集合,R2合并集合,……,Rj合并集合进行条件合并,包括以下步骤:

G3-1、比较R1合并集合和R2合并集合,当R2合并集合包含R1合并集合中的至少一个最小外接矩形时,对R1合并集合和R2合并集合求并集,当R2合并集合不包含R1合并集合中的任意一个最小外接矩形时,将R2合并集合放入独立区域集合Q中;

比较R1合并集合和R3合并集合,当R3合并集合包含R1合并集合中的至少一个最小外接矩形时,对R1合并集合和R3合并集合求并集,当R3合并集合不包含R1合并集合中的任意一个最小外接矩形时,将R3合并集合放入独立区域集合Q中;

以此类推,直至比较R1合并集合和Rj合并集合,当Rj合并集合包含R1合并集合中的至少一个最小外接矩形时,对R1合并集合和Rj合并集合求并集,当Rj合并集合不包含R1合并集合中的任意一个最小外接矩形时,将Rj合并集合放入独立区域集合Q中,然后进入步骤G3-2;

G3-2、统计独立区域集合Q中的合并集合个数,当独立区域集合Q中的合并集合个数大于等于2时,进入步骤G3-3,当独立区域集合Q中的合并集合个数为0或1时,将独立区域集合Q中的合并集合作为一个并集,进入步骤G4;

G3-3、将独立区域集合Q中的多个合并集合全部取出,使独立区域集合Q成为空集,然后对取出的多个合并集合按照下标大小从小到大依次排列,比较第一个合并集合和第二个合并集合,当第二个合并集合包含第一个合并集合中的至少一个最小外接矩形时,对第一个合并集合和第二个合并集合求并集,当第二个合并集合不包含第一个合并集合中的任意一个最小外接矩形时,将第二个合并集合放入独立区域集合Q中;

比较第一个合并集合和第三个合并集合,当第三个合并集合包含第一个合并集合中的至少一个最小外接矩形时,对第一个合并集合和第三个合并集合求并集,当第三个合并集合不包含第一个合并集合中的任意一个最小外接矩形时,将第三个合并集合放入独立区域集合Q中;以此类推,直至比较第一个合并集合和最后一个合并集合,当最后一个合并集合包含第一个合并集合中的至少一个最小外接矩形时,对第一个合并集合和最后一个合并集合求并集,当最后一个合并集合不包含第一个合并集合中的任意一个最小外接矩形时,将最后一个合并集合放入独立区域集合Q中,然后进入步骤G3-4;

G3-4、按照步骤G3-3中的方法对独立区域集合Q进行重复处理,直至独立区域集合Q中的合并集合个数为0或1,将独立区域集合Q中的合并集合作为一个并集,然后进入步骤G4;

G4、将步骤G3中得到的每一个并集均按如下方法进行处理,统计一个并集中所有最小外接矩形的顶点坐标,从顶点坐标中选出x坐标的最小值记为xmin,选出x坐标的最大值记为xmax,选出y坐标的最小值记为ymin,选出y坐标的最大值记为ymax,以(xmin,ymin),(xmax,ymin),(xmin,ymax),(xmax,ymax)四个坐标作为顶点创建矩形区域,则从各个并集中得到的所有矩形区域即为原始图像中的汉字区域。