1.基于Faster R‑CNN的图模型构建方法,其特征在于,具体按照如下步骤实施:步骤1,将目标图像送入已经训练好的基于Faster R‑CNN的目标检测网络模型中,输出目标图像中各个目标对应的检测框;
步骤2,根据设定的阈值对目标检测框进行筛选,去掉冗余的目标检测框;
步骤3,给去冗余后的目标检测框分配唯一的标签;
步骤4,根据经验设定阈值,将图像的目标划分为主要目标和次要目标,然后对次要目标构建目标树;
步骤5,通过任意两个次要目标重心之间的连线与竖轴的顺时针的夹角对检测框进行解析处理,得到目标图像中任意两个物体之间的相对位置关系,然后,计算目标图像中任意两个目标重心之间的距离,最后根据物体之间的距离、各个物体的重心得到任意两个物体之间的相对位置关系;
步骤6、根据目标树以及目标之间的位置关系构建图像的图模型。
2.根据权利要求1所述的基于Faster R‑CNN的图模型构建方法,其特征在于,所述基于Faster R‑CNN的目标检测网络模型对目标图像进行检测的过程为:假设目标图像中共有n个物体,通过基于Faster R‑CNN的目标检测网络模型进行目标检测之后输出目标图像中n个物体对应的目标检测框box和每个目标检测框对应的类别,将类别相同的目标检测框归为一类,将n个物体对应的目标检测框放入一个集合 中,其中m表示目标图像中目标检测框的总数量,集合 中的元素表示为:{box1,box2,...,boxm},其中boxi表示检测出的第i个目标检测框,输出的boxi是一个四维几何坐标(xi,yi,wi,hi),其中xi表示当前目标检测框的重心坐标点的x轴坐标值,yi表示当前目标检测框的重心坐标点的y轴坐标值,wi表示当前目标检测框的宽度,hi表示当前目标检测框的高度。
3.根据权利要求2所述的基于Faster R‑CNN的图模型构建方法,其特征在于,所述步骤
2具体为:
步骤2.1,根据boxi的宽度和高度计算出每一个目标检测框的面积,记为areai,将所有目标检测框的面积放到一个集合Sarea,集合Sarea表示为:{area1,area2,...,aream},根据目标检测框的面积大小对集合Sarea进行降序排序;
步骤2.2,计算目标图像中第t个类的第i个目标检测框的面积和第j个目标检测框的面积的交集与第t个类的第i个目标检测框的面积的比值,比值记为如果 的值大于θa,将第t个类的第j个目标检测框去除,直到处理完该类的所有目标检测框,将剩余的目标检测框放入集合 中,其中,θa为根据经验设定的阈值;
步骤2.3,重复步骤2.2的过程依次对所有的类进行处理,直到处理完所有的类,将所有类的目标检测框集合放入一个新集合 中,集合 表示为: 其中n表示目标图像中物体的种类数,mt表示经过步骤2去除冗余框之后剩余的目标检测框的数量。
4.根据权利要求3所述的基于Faster R‑CNN的图模型构建方法,其特征在于,所述步骤
3具体为:
步骤3.1,将目标图像I均匀的分为9个区域,分割区域的集合为 表示为:其中 表示分割的第c个区域,图像的分割区域的顺序如下面的矩阵所示;
步骤3.2,根据矩阵中索引c的顺序依次处理每一个分割区域,对于每一个分割区域进行以下处理:计算出集合 中每个目标检测框的重心坐标 与当前分割区域的左上角坐标点的欧式距离
其中, 表示这个分割区域的左上角坐标点的x轴坐标值, 表示这个分割区域的左上角坐标点的y轴坐标值, 为集合 中每个检测框的重心坐标的x轴坐标值, 为集合 中每个检测框的重心坐标的y轴坐标值;
然后按照上面求得的欧式距离对每个分割区域的目标检测框进行升序排序,对第t个类的每一个目标检测框分配唯一的编号;
步骤3.3,按照步骤3.2的过程依次处理每一个类,并完成目标检测框的编号,至此,数据预处理就完成了。
5.根据权利要求4所述的基于Faster R‑CNN的图模型构建方法,其特征在于,所述步骤
4具体为:
计算每个目标检测框的面积与整个图像的面积的比值其中,areai表示第i个目标检测框的面积,areaI表示当前目标图像的面积;
根据经验设定阈值θc,如果 的值大于θc,将这个目标划分为主要目标,反之,划分为次要目标;
将主要目标的目标检测框放入一个集合中,记为集合 次要目标的目标检测框放入另一个集合中,记为集合 定义 表示当前目标图像需要构建的目标树的集合:其中, 表示由次要目标构建的第nt颗目标树,nt表示构建的目标树的数量, 表示第nt颗目标树中目标检测框的数量;
对次要目标构建目标树具体为:
步骤4.1,首先根据经验设定阈值θt,从次要目标检测框集合 中选择目标检测框面积最大的目标检测框作为第一棵目标树 的根节点,然后依次计算次要目标检测框集合中剩余目标检测框的面积和当前根节点的目标检测框的面积的交集与当前根节点的目标检测框的面积的比值,记为 如果 的值大于阈值θt,则将目标检测框划分到 目标检测框集合中,反之,划分到其它目标树集合中;
步骤4.2,按照目标检测框集合 中目标检测框的面积的大小进行降序排序,从集合中选择面积最大的目标检测框作为当前根节点的第一个孩子节点,按照第一步的方法依次对 目标检测框集合进行处理,直到完成第一棵目标树 的构建;
步骤4.3,重复步骤4.1和步骤4.2的操作,依次完成剩余目标树的构建。
6.根据权利要求5所述的基于Faster R‑CNN的图模型构建方法,其特征在于,所述步骤
5具体为:
首先目标图像中第i个目标检测框的重心是(xi,yi),第j个目标检测框的重心是(xj,yj),计算两个目标检测框的重心之间的x轴坐标的差值和y轴坐标的差值,分别记为 和第i个目标检测框的重心与第j个目标检测框的重心的连线与竖轴之间顺时针的夹角为
定义一个变量
则将目标图像分为八种情况,根据八种情况计算情况一: 等于0, 大于0, 情况二: 大于0, 大于0, 情况三:大于0, 等于0, 情况四: 大于0, 小于0, 情况五: 等于
0, 小于0, 情况六: 小于0, 小于0, 情况七: 小于0,等于0, 情况八: 小于0, 大于0,根据 的大小进行位置判断:
当第i个目标检测框的重心与第j个目标检测框的重心的连线与竖轴之间顺时针的夹角 落在区间[330,360]和区间[0,30]的时候,记为第j个目标检测框在第i个目标检测框的上方;当重心的连线与竖轴之间顺时针的夹角 落在区间[30,60]的时候,记为第j个目标检测框在第i个目标检测框的右上方;当重心的连线与竖轴之间顺时针的夹角 落在区间[60,120]的时候,记为第j个目标检测框在第i个目标检测框的右方;当重心的连线与竖轴之间顺时针的夹角 落在区间[120,150]的时候,记为第j个目标检测框在第i个目标检测框的右下方;当重心的连线与竖轴之间顺时针的夹角 落在区间[150,210]的时候,记为第j个目标检测框在第i个目标检测框的下方;当重心的连线与竖轴之间顺时针的夹角为落在区间[210,240]的时候,记为第j个目标检测框在第i个目标检测框的左下方;当重心的连线与竖轴之间顺时针的夹角 落在区间[240,300]的时候,记为第j个目标检测框在第i个目标检测框的左方;当重心的连线与竖轴之间顺时针的夹角 落在区间[300,330]的时候,记为第j个目标检测框在第i个目标检测框的左上方,最后给每一个区域赋予一个颜色,来表示第j个目标检测框和第i个目标检测框的相对位置信息。
7.根据权利要求6所述的基于Faster R‑CNN的图模型构建方法,其特征在于,所述步骤
6具体为:
将每一棵目标树的根节点的重心作为当前目标图像的图模型的节点的位置信息,将所有节点的集合定义记为
其中,mg表示图模型的节点数量,Ni表示构建的图模型的第i个节点;
定义,me表示构建的图模型的边的数量:me=mg*(mg‑1)/2 (9)使用步骤5中计算的目标间相对位置关系表示图模型的节点之间的边的相对位置属性信息,然后,计算两个节点之间的欧氏距离表示两个节点之间的距离。