欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020103900093
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于图像显著性和迁移学习的图像场景分类方法,其特征在于,包括以下步骤:(1)提取不同场景的样本图像,将图像缩放后形成图像集;

(2)提取图像集中每幅图像的显著性区域;具体包括以下内容:(2‑1)建立图像坐标系,以图像左上角为坐标系原点,单位为像素;

(2‑2)将图像划分为格子状初始候选区域;

(2‑3)采用Selective Search算法,根据颜色、纹理、大小和填充的相似度对步骤(2‑2)得到的区域进行聚合操作,得到不相似的候选区域集合;

(2‑4)采用滑动窗口机制搜索图像中物体密度最大区域位置;

(2‑5)将滑动窗口处于物体密度最大区域位置的图像区域作为整幅图像的显著性区域;

(3)将步骤(2)得到的每幅图像的显著性区域的图像放大后构建显著性图像集,并将其按比例划分训练集和测试集;

(4)基于通用的VGG16模型建立场景分类网络模型,进行迁移学习操作;

(5)用步骤(3)中得到的训练集和测试集训练并测试步骤(4)搭建的网络;

(6)用步骤(4)建立和步骤(5)训练得到的网络实施图像场景分类。

2.根据权利要求1所述的一种基于图像显著性和迁移学习的图像场景分类方法,其特征在于,步骤(2‑4)具体包括以下内容:(2‑4‑1)确定滑动窗口尺寸;

(2‑4‑2)确定滑动窗口从原点开始移动滑动窗口,每次移动1像素,依次从左往右,从上至下移动,令m代表窗口移动的次数,m=1,2,…,M,M是窗口移动的总次数,m=1表示滑动窗口处于原点的位置,m=M表示滑动窗口处于图像最右下角的位置;

(2‑4‑3)定义图像区域物体密集度为滑动窗口区域内候选区域的面积与该图像全部候选区域面积和的比值,即:Dm=Bm/A

式中,Dm表示滑动窗口第m次移动时窗口内的物体密集度,Bm表示滑动窗口第m次移动时窗口内候选区域的面积,A为图像全部候选区域集合的面积和;

(2‑4‑4)计算图像全部候选区域集合的面积和A,计算方法如下:上式中,N是图像全部候选区域集合中候选区域的总数,Pn是第n个候选区域的面积,其计算方法如下:Pn=(x2‑x1)*(y2‑y1)

上式中,(x1,y1)和(x2,y2)为第n个候选区域的两个对角点坐标,单位为像素;

(2‑4‑5)计算滑动窗口在每个位置的物体密集度Dm,方法如下:(a)计算滑动窗口内候选区域的面积Bm:

上式中,t是包含在滑动窗口内的候选区域的位置索引,t=1,2,…,T,T是滑动窗口内候选区域的个数,Pt是包含在滑动窗口中位置在t处的候选区域的面积,所述窗口内候选区域包括全部在滑动窗口内的候选区域以及跨在滑动窗口边界的候选区域;

Pt的计算分为两种情况,一种是当候选区域全部在滑动窗口内时,计算整个候选区域的面积,另一种是当候选区域跨在滑动窗口边界上时,只计算该候选区域在滑动窗口内的面积;

(b)按步骤(2‑4‑3)定义计算滑动窗口内的物体密集度Dm;

*

(2‑4‑6)计算最大物体密集度的滑动窗口位置m:

3.根据权利要求1所述的一种基于图像显著性和迁移学习的图像场景分类方法,其特征在于,步骤(4)具体包括以下内容:(4‑1)将VGG16模型分为三部分,特征提取网络,特征分类网络和softmax;

特征提取网络包括十三个卷积层;特征分类网络包括三个全连接网络;softmax设计如下:(4‑1‑1)建立softmax激活函数如下:上式中,zi是分类器前级输出单元的输出,i表示类别索引,K表示场景分类总数,i∈[1,K],Si表示i分类场景的输出概率;

(4‑1‑2)建立softmax损失函数如下:上式中,Ws是softmax的权重参数,Ws的值以迭代的方式不断优化,在损失函数达到收敛时停止迭代,即当loss值在数次迭代后保持不变,r是softmax层的权重衰减系数,用于控制softmax分类器在训练过程中的过拟合强度,T表示矩阵转置;

(4‑2)进行参数迁移操作,具体方法如下:(4‑2‑1)采用经过大型数据集训练过的通用VGG16模型中特征提取网络已有的卷积核参数集,将其作为所建特征提取网络初始参数;

(4‑2‑2)以Xavier方法初始化特征分类网络参数;

(4‑2‑3)以随机化方式初始化softmax参数;

(4‑3)以场景分类概率最大值作为网络输出,得到场景分类,即:*

式中,i为场景类别编号。

4.根据权利要求1所述的一种基于图像显著性和迁移学习的图像场景分类方法,其特征在于,步骤(6)具体包括以下内容:(6‑1)输入图像,将图像缩放;

(6‑2)同步骤(2)提取图像显著性区域;

(6‑3)提取步骤(6‑2)得到的显著性区域中的图像,将图像放大;

(6‑4)将步骤(6‑3)得到的图像输入经步骤(5)训练和测试的网络,得到场景分类编号。