1.庞杂布图下聚焦图像主体的精准检索系统,其特征在于,包括:一是特征主题抽取模块,具体包括:逆变扩散与无序层级下降、超因子分层设置、要义采集权重初始化、层级融合归化、局部网络激活、特征主题提取,二是要义检索模块,具体包括:主体核降维散列、主体核降维及其投影矩阵计算、生成输入数据、散列函数的生成和检索,三是主体提取模块,四是检索预处理模块,五是精准匹配模块;
本申请采取层次迭代网络正向评估和定序自适应压缩计算方法,先提取层次迭代网络的高层数据表达,然后将这些数据利用定序自适应压缩进行相似最近邻检索,得到一个粗略的检索结果,最后将粗略的检索结果进一步进行图像精准匹配,如果背景庞杂而导致检索结果不佳,则加入主体提取模块,提高检索精度;通过层次化设计系统,使系统每个模块相互独立;
通过旋积层次迭代网络提取图像特征,通过定序自适应压缩高效精细精准检索,实现一款基于旋积层次迭代网络和定序自适应压缩的大规模庞杂布图下图像库下的电商图像检索应用软件,并且通过设计显著性提取和主体核降维一系列算法,使软件适应背景庞杂的条件;
在特征提取方面,基于旋积层次迭代网络结构,并抽取最后全链路层的输出数据作为定序自适应压缩的输入;
在图像检索方面,通过定序自适应压缩降低检索所需的时间,采用一种主体核降维散列,通过对数据的特征矩阵进行主体核降维,并通过一种最优梯度旋转的方法来构建散列函数,以降低量化引起的误差;检索时采用特征相似度判别算法,通过比较散列码之间的汉明距来得到相似的图像,之后通过进一步的精确匹配来得到最终的结果;
另外,采用一种显著性提取算法来分离主体和背景,提高检索的精度。
2.根据权利要求1所述庞杂布图下聚焦图像主体的精准检索系统,其特征在于,逆变扩散与无序层级下降:逆变扩散通过链式法则来计算因子层级,即给定的函数f(x),计算出函数关于x的层级,即f(x),其中x是一个多维向量,表示层次迭代网络中的所有权重因子,以及输入的数据,逆变扩散采用复合函数求偏导,函数f(x,y,z)=(x+y)*z,令中间变量q=x+y,设置函数初始输入值为x=l,y=2,z=4,先进行正向计算,得q=3,f=q*z,为12;进行逆变扩散时,先传到f=q*z处, 而 进一步得到 以及得到f关干其自变量的偏导,进而可求层级;
对一个层级点,函数f即为它在训练时得到的多项式,x,y为输入数据,z为权重w,它在得到输入时,先计算出输出值f,以及输出值关于输入的局部层级,即 和 和 然后在逆变扩散中,得到整个网络最终的输出对f的层级,将回传的层级和得到的局部层级相乘,即得到每个输入的层级,最后得到整个逆变扩散后的层级值,然后用无序层级下降法,不断逼近极值,最终使网络收敛到设定准确度;
超因子分层设置:超因子是层次迭代网络的框架因子,为获取图像多个属性的特征,增加要义采集器的个数,即深度这个超因子,设计出多个不同的要义采集器,每个要义采集器都有自己的一组权重,每组权重为一个迭代层,它将原图经过一个要义采集器后输出某种具有特定特征的图,有n个迭代层生成n幅对不同特征感兴趣的图像,这些图像看做是一张图像的不同的通道,做正向评估时,迭代层每次移动只对局部数据敏感并计算,在宽和高上进行遍历,而要义采集器的窗口大小则决定窗口一次获得数据量,窗口是n×n的正方形,为获取确定大小的输出数据体的尺寸,设置深度超因子。
3.根据权利要求1所述庞杂布图下聚焦图像主体的精准检索系统,其特征在于,要义采集权重初始化:将层级点的权重向量w通过下式进行初始化,具体公式为:U(w)=2/(nin+nout)
其中nin和nout是输入和输出数据的数量,n是总数据量,假设权重向量w和输入x之间的内积为 检查s的方差:假设输入和权重的均值都是0,则E[xi]=E[wi]=0,剩余第三项U(wi)U(xi),假设所有的wi,xi都服从同样的分布,基于代码段w=np.random.randn(n)/sqrt(n)来初始化权重w,保持输入数据和输出数据的方差一致,避免在高层数据会趋于0而无法继续训练的情况;
解决层级消失问题,近义词优化公式为:
nl为每层数据量,层级消失得到很好控制。
4.根据权利要求1所述庞杂布图下聚焦图像主体的精准检索系统,其特征在于,层级融合归化:在对层次迭代网络进行训练前,对数据进行归化处理,对层级因子加以约束:2
其中,xi为第i个输入数据值,μ表示一个层级内所有输入的均值,σ表示方差,ε是一个接近0的值,防止分母为0,计算后得到 但对其进行高斯约束后,数据对上一层输入的表达能力弱化,加入一个线性变换去还原原始数据信息式为:通过层次迭代网络学习β和γ两个因子,来还原数据的信息表达。
5.根据权利要求1所述庞杂布图下聚焦图像主体的精准检索系统,其特征在于,局部网络激活:在训练层次迭代网络时,每次计算只使用局部网络,剩余的处于未激活态,通过训练许多个不同的小网络,因子总量不变,在某个概率准则下无序挑选出来的其它单元组成新的网络,而下一次训练时,该层级点又和其它层级点组成别的类型的网络,提高网络泛化能力,消除减弱层级点节点间的联合适应性,增强泛化能力;
每次正向计算,层级点都会有一定概率关闭,即无序失活,在正向评估中,如果不使用局部网络,公式为:即典型的线性计算,l表示在层次迭代网络的第l层,i表示某个具体的数据点,b为对应参数,若加入局部网络,公式变为:无序失活是层级点以预先设置的超因子p的概率被激活或被设置为0,r是伯努利无序数,范围为0至1;
局部网络超因子设置为0.5,使用局部网络生成多种不同的网络表达方式,在处理相同数据时获得更好的泛化能力。
6.根据权利要求1所述庞杂布图下聚焦图像主体的精准检索系统,其特征在于,特征主题提取:基于层次迭代对图像信息的高表征性,利用已训练好的网络对每一张图像提取它在层次迭代网络深层的表达来作为其特征,具体是在最后一层的全链路层,该层输出4096个数值,将这个数值作为一个向量,得到一个1×4096维的数据,这个数据即可表征原始图像,这个过程类似于训练时的正向计算,区别在于它没有进行层级回传,而在全链路层取出其数据作为图像特征;将设计好的层次迭代网络结构调用以上函数,并将上一个函数的输出作为下一个函数的输入,最后在全链路层可得到对应的1×4096维数据,这个数据作为图像最后的特征描述。
7.根据权利要求1所述庞杂布图下聚焦图像主体的精准检索系统,其特征在于,要义检索模块:(一)主体核降维散列
首先,对图像库中已提取好的特征,用主体核降维散列对所有样本生成散列码;然后对待检索的图像,也使用主体核降维散列,并用处理图像库时所生成的投影矩阵来生成相似的散列码;最后,根据散列码进行相似度匹配;
(二)主体核降维及其投影矩阵计算
首先对样本的特征矩阵计算其协方差矩阵,并对协方差矩阵求出其特征值和对应的特征向量,其中,特征值越大对应维度的区分度越高,其中,特征值最大的即为主成分,将剩余的特征值排序后,得到的对应特征矩阵即为投影矩阵,利用投影矩阵可对相同初始维度的新输入数据进行分析;
具体定义X={x1,x2,…xN}为由N个样本特征组成的样本矩阵,每个样本的维度为m,首先,整个数据的均值如下式所示:求均值的目的是数据中心化,然后求解下式:
矩阵C的对角线上的元素为每个样本上的自方差,其它位置为样本间的协方差,通过一个矩阵分别表示出协方差和自方差,为让样本之间无相关性,需要它们的协方差为0,即对于矩阵C,令其对角线外的位置都为0,对C进行对角化:设对角化后的矩阵为D,有下式:矩阵D为Y的协方差矩阵,如果D是一个对角矩阵,其中数值最大的即为主体核,而P就是要求解的投影矩阵,P通过对C相似对角化得到,主体核降维由以下算法表示:输入:需要降维的样本数据特征 d为参数;
输出:降维后的数据
第一步:计算样本的均值,并令所有的样本都减去该均值;
第二步:求解样本的协方差矩阵C;
第三步:计算协方差矩阵的特征值,由特征值得特征向量;
第四步:将特征值按次序排列,选取对应的特征值对应的特征向量,将它们组成投影矩阵;
第五步:将新的输入数据和投影矩阵相乘,得到降维后的数据;
(三)生成输入数据
首先处理降维的数据,假设输入的特征已零均值化,令Hl={hl,1,…,hl,K}来表示第1张散列表,其中,hl,K表示该散列表中的第K个散列函数,对于第l张散列表的输入数据,定义为:其中,X是主体核降维降维后的所有的数据,Xl是第1个散列表需要的输入数据,V是投影矩阵,Vl={vl,…,x}是V上的第1到第1+K‑1个特征向量的集合,v是某个特征值对应的特征向量,得到l个散列表的输入数据;
(四)散列函数的生成和检索
采用一种最优梯度旋转的方法来构建散列函数,多表散列需要构建多组散列函数,每张表的构建过程类似,对单张散列表进行构建,先定义散列映射:hk(X)=sgn(Xwk+bk)
bk为参数,数据零均值化后输入到散列函数hk,则有:
hk(X)=sgn(,Xwk)
wk是某个参数,添加该因子减小直接量化hk(X)=sgn(X)带来的量化误差,进一步将最小化量化误差表示为:将wk用W简单表示,将hk(X)用字母Q表示;
符号函数不可导,该二次方程无法用常规的优化方法求解,所以在优化过程中,添加F范数标准测量解决上述问题,在给定两个变量的前提下,为求解最小值,固定某个变量,并在此条件下最小化目标函数,通过先固定W再固定Q,不断优化目标函数,最终得到一个局部最小值;
(1)当W固定时,将原式写成:
其中,Q为n×t的矩阵, a是投影后特征矩阵的维度,有:
Q的值域为{‑1,1},P、W都是固定值,若要取到最大值,必有当P为正时Q为正l而P为负数时Q负l,所以得Q=P;
(2)当Q固定时,将原式写成:
T T T
由于QX是a×a的矩阵,对Q X进行奇异值分解,S,R和U都是正交矩阵,则SWU也正交,且T最大值为1,当SWU值为1,求得对应的矩阵W:
以下为主体核降维散列通过固定W再固定Q迭代优化求极值的方法:
输入:初始化无序旋转矩阵 经过主体核降维降维后的特征矩阵X;
Loop:关于W:固定W,令Q=sgn(XW);
T T T T
关于Q:固定Q,对QX做奇异值分解,QX=UΛS,w=SU;
Until:满足停止循环的条件,停止循环的条件是循环的次数,或某个确定的量化误差值;
输出:正交的旋转矩阵W;
获得旋转矩阵W,即得到散列函数,通过求解式sgn(Xwk),得到量化后的散列二值码,进一步将整个图像库中的样本通过散列后得到每张图像对应的散列码,同时,将散列码相等的图像放入同一个散列桶中,以方便检索,最后,求出待检索图像的散列码,和图库中的散列桶比对,通过比对待检索图像的散列码和散列桶之间的汉明距,找到距离最近的散列桶,取出桶中的图像,即为散列检索下的相似图像。
8.根据权利要求1所述庞杂布图下聚焦图像主体的精准检索系统,其特征在于,主体提取模块:设计一种显著性主体快速检测方法将目标和其背景区分开来,且只占用少量系统资源的;
首先在无序规则模型下进行图像标注,得到对应的能量函数:
其中,i,j代表像素位,ψi和ψij分别是目标本身和其局部的对比度,得到初步计算的显著性图,对于ψij运用混合高斯模型替代直方图模型进行计算,并通过向其中的协方差矩阵添加一个常数项来避免不收敛的情况,颜色模型采用GMM模型,当把像素的label作为形成马尔科夫场无序变量且能够获得全局观测时,对这些label进行建模;免去ψij(xi,xj)中庞杂的GMM全局模型预测,最后获得更精确的显著性图,得到最后结果,第一行第二幅图是初提取后的结果,第二行第一张为显著性图,第二行第四张为最终的显著性提取结果;
本申请选用稠密无序规则模型,如果具有相关联的背景及主体的颜色模型的稀疏无序规则模型,它和稠密无序规则模型高度相关联,从而用稠密无序规则模型进行更高效的显著性检测。
9.根据权利要求1所述庞杂布图下聚焦图像主体的精准检索系统,其特征在于,检索预处理模块:在进行层次迭代网络的正向评估时,首先要对读取的输入图像进行预处理,其中包括去均值压缩及图像数据矩阵自适应调整;去均值压缩采用训练后的层次迭代网络记住原先训练集的均值特征,从而在检索图像时,即使输入的图像并不是来源于原先的训练图库,也需要减去图像训练库的均值;
对图像的数据矩阵自适应调整,初始输入图像的尺寸为224×224×3的大小,分辨率自适应调整方法为:假设需要得到未知函数f在点(x,y)处的值,而已知条件G11=(x1,y1),G12=(x1,y2),G21=(x2,y1),G22=(x2,y2)四个点的f值,在x和y两个方向上做线性插值计算,首先在x轴方向上做插值计算:同理可得f(x,y2)和在y轴方向插值,最后可计算得到f(x,y):
将图像转换成任意的分辨率,使得它能够满足层次迭代网络算法的输入需要。
10.根据权利要求1所述庞杂布图下聚焦图像主体的精准检索系统,其特征在于,精准匹配模块:在散列粗检索得到结果后,将散列检索结果中得分较高的图像找出来,再和原检索图像进行进一步比较,即精准匹配;
对于两个n维向量,有下列公式:
实际编码用向量模式计算,即:
将对比得到的所有距离按大小排序,d值越小即表示两个图像的相似度越高,将相对距离较小的图像输入即可得到最终的图像检索结果。