欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2017102747107
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种由粗至精的室内场景图像布局估计方法,其特征在于,包括以下步骤:

步骤A、针对室内场景图像,采用改进型的消失点估计方法对图像中检测出的边缘线段进行消失点估计,生成若干场景布局候选项;

步骤B、针对室内场景图像,基于卷积神经网络提取布局边界和布局类别信息,融合成全局特征,对步骤A生成的场景布局候选项进行粗选取,具体为:B1,针对室内场景图像,采用基于VGG-16的全卷积神经网络对图像的布局边界进行估计,估计得到场景的布局边界信息;

B2,提取B1中基于VGG-16的全卷积神经网络中最后一层卷积层的输出特征作为一个浅层神经网络的输入,进行布局类别标注概率的训练,估计得到场景的布局类别信息;

B3,将B1中估计得到的布局边界信息和B2中估计得到的布局类别信息融合生成全局特征,通过全局特征对场景布局候选项的边界位置和结构进行约束,实现对场景布局候选项的粗选取;

步骤C、根据布局估计问题定义结构化回归问题模型,通过训练图像集对结构化回归问题模型进行训练学习,通过训练学习完成的模型进行室内场景布局估计;最后用查询图像测试,具体为:C1,针对训练图像集中的室内场景图像及其对应的基准标注布局,分别通过Canny算子进行边缘检测获得室内场景图像的边缘线段信息、通过基于VGG-16的全卷积神经网络获得室内场景图像的几何上下文信息、通过基于VGG-16的空间多尺度卷积神经网络获得室内场景图像的法向量信息和深度信息,通过几何积分图像方式将提取的线段信息、几何上下文信息、法向量和深度信息经线性变换拼接为特征向量的形式,形成区域级特征,实现室内场景图像到特征域的映射;

C2,将布局估计问题转化为步骤B中粗选取后的场景布局候选项的最优选取问题,定义结构化回归问题模型,其目标函数为:其中,f(x,y;w)表示室内场景图像x与其基准标注布局y之间的映射关系,w表示权重向量,f(x,y)=wTψ(x,y),ψ(x,y)表示室内场景图像x针对其基准标注布局y所提取的区域级特征;

C3,根据步骤C1中训练图像集中的室内场景图像的区域级特征,对步骤C2中的结构化回归问题模型进行训练学习,求解得到权重向量w,完成结构化回归问题模型的训练学习完成具体为:将目标函数转化为以下问题:

其中,λ表示常量,xq表示训练图像集中第q个室内场景图像,1≤q≤Q,Q表示训练图像集中室内场景图像的数目;ξq表示xq的松弛变量,Y表示xq经过步骤A和步骤B处理后得到的粗选取后的布局候选项集合,y′表示集合Y中的元素,yq表示xq的基准标注布局,ψ(xq,yq)表示xq对应的基准标注布局yq所提取的区域级特征,ψ(xq,y′)表示xq对应的粗选取后的布局候选项y′所提取的区域级特征,Δ(yq,y′)表示用于量化yq和y′两种布局之间的测度的损失函数;

C4,用查询图像测试,具体为:采用步骤A和步骤B的方法对查询图像进行处理,得到粗选取后的布局候选项,将粗选取后的布局候选项分别映射为区域级特征的形式,输入训练学习完成的结构化回归问题模型即可获得最优布局候选项,将最优布局候选项标注为布局估计的结果,从而完成室内场景图像布局的估计。

2.根据权利要求1所述的一种由粗至精的室内场景图像布局估计方法,其特征在于,步骤A具体为:

A1,针对室内场景图像,采用Canny算子进行边缘检测,并设置边缘线段的阈值,将小于阈值的边缘线段剔除,将剩余的长直边缘线段用于消失点估计;

A2,将图像中长直边缘线段进行竖直方向、水平方向线段的划分,分别用于估计竖直方向消失点、水平及投影方向消失点,其中,竖直方向的线段用于估计竖直方向上的消失点,水平方向的线段用于估计水平和投影方向上的消失点;

A3,由估计得到的竖直方向、水平方向的消失点等间隔地引出射线,两两成对射线相交确定图像内区域面的划分情况,从而生成若干场景布局候选项。

3.根据权利要求2所述的一种由粗至精的室内场景图像布局估计方法,其特征在于,步骤A2中长直边缘线段进行竖直方向、水平方向线段划分的方法为:首先,设定一竖直方向的消失点,计算该消失点与任一长直边缘线段重点的连线与前述长直边缘线段的夹角,若该夹角大于20°则前述长直边缘线段划分为水平方向的线段,否则划分为竖直方向的线段。

4.根据权利要求2所述的一种由粗至精的室内场景图像布局估计方法,其特征在于,步骤A2中采用投票得分机制估计竖直方向消失点、水平及投影方向消失点,具体为:

1)竖直方向的线段集合记为{lvi},1≤i≤n,n为竖直方向上的线段数目,pk为{lvi}中线段两两相交的形成第k个交点,1≤k≤K,K为{lvi}中线段两两相交的形成的交点数目,则第i个竖直方向线段lvi对pk的得分贡献为:其中,α表示lvi与pk和lvi中点的连线之间的夹角,γ是设定阈值;

2)将所有竖直方向线段对pk的得分贡献进行求和,得到pk的得分

3)所有K个交点中得分最高的即为竖直方向的消失点vp1;

4)基于消失点的正交性准则:=0、=0、=0,分别获得若干符合上述消失点的正交性准则的水平方向消失点和投影方向消失点的可能项,再基于如

1)至3)中相同的投票得分机制,即可得到最终的水平方向的消失点vp2与投影方向向的消失点vp3。

5.根据权利要求1所述的一种由粗至精的室内场景图像布局估计方法,其特征在于,步骤B1中采用联合训练的机制,采用基于VGG-16的全卷积神经网络对布局边界图和几何上下文图进行联合训练,该神经网络的损失函数为:L(I,E,G)=Ledge(E,E*)+Lgc(G,G*)

其中,L(I,E,G)表示该神经网络的损失函数,Ledge(E,E*)表示布局边界损失函数,Lgc(G,G*)表示几何上下文图损失函数,I表示输入的室内场景图像,E和E*分别表示预测和基准标注的信息化边界图,G和G*分别表示预测和基准标注的几何上下文GC图,m表示室内场景图像中的像素点个数,Ez和 分别表示像素点位置z的预测和基准标注的信息化边界值,Gz和 分别表示像素点位置z的预测和基准标注的几何上下文GC值。

6.根据权利要求1所述的一种由粗至精的室内场景图像布局估计方法,其特征在于,步骤B2中的浅层神经网络由1层全连接层和1层softmax层构成,该浅层神经网络的损失函数定义如下其中,o表示输入室内场景图像的提取的基于VGG-16的全卷积神经网络最后一层卷积层的特征,c表示室内场景图像对应的场景类别基准标注,h表示场景布局类别数目,θ表示需要训练的浅层神经网络模型参数矩阵,a、b均表示任一场景布局类别索引值,θa、θb分别表示矩阵θ的第a、b行向量;δ(·)表示冲击函数,若括号内的表达式为0则δ(·)取值为1,否则δ(·)取值为0。

7.根据权利要求1所述的一种由粗至精的室内场景图像布局估计方法,其特征在于,步骤B3具体为:首先,针对任一场景布局候选项,计算由该候选项映射得到的布局边界图与步骤B1中估计得到的布局边界图之间的重合像素点数目,并参照室内场景图像的大小进行归一化处理,即得到布局边界得分s1;然后,针对该场景布局候选项,从步骤B2估计得到的各个布局类别标注概率中找出该候选项映射得到的布局类别标注概率,即为布局类别得分s2;再后,针对该场景布局候选项,计算该候选项的总得分s=α1×s1+α2×s2,α1、α2均为权值,α1+α2=1;最后,针对所有场景布局候选项,选择得分较高的M个候选项保留,舍弃其余候选项,从而完成场景布局候选项的粗选取,其中,M的取值根据实际需要选取。

8.根据权利要求1所述的一种由粗至精的室内场景图像布局估计方法,其特征在于,步骤C3中采用Cutting-Plane算法对步骤C2中的结构化回归问题模型进行训练学习,求解权重向量w。