1.视频图像中内容特征动态结构融合方法,其特征在于,采用空间分布直方图特征描述光流和轮廓,提取各自特征序列的动态模型的不变参数构建动态特征,然后通过子空间度量的方法求出各自的结构表征,最后通过广义矩阵分解的方法求得融合结构,得出分类判别能力强的特征表征,具体按照以下步骤实施:步骤1,特定内容的光流和轮廓特征描述
设I(x,y)为图像在点(x,y)处的像素值,其中,x和y分别表示点的横纵坐标,令有光流矢量起点坐标的图像像素值为1,有轮廓坐标的图像像素值为1,其它图像的像素值为0;
令c(xc,yc)为图像的重心,xc和yc分别是重心的横纵坐标,特征表征为光流或轮廓空间点分布的特征,以距离重心c(xc,yc)最远光流或轮廓上非零信息点的欧氏距离为半径形成轮廓外接圆,外接圆的中心在重心c(xc,yc)上,以c(xc,yc)建立极坐标,在角度上分18等份,径向上分等5份,在外接圆上会形成90个区域,统计在每个区域上的非零信息点个数,根据角度从小到大和径向距离从小到大形成90维的向量,统计的起点为极坐标角度为0方向,光流或轮廓分别表征为90维的特征向量f1和f2;
步骤2,光流和轮廓特征序列动态特征获取
(2.1)光流特征序列为{f1(t)}1<t<τ,τ为视频序列的帧数,t为序列数;
对光流特征序列进行奇异值分解得下式,
其中,U1、V1和S1分别为式(3)左边奇异值分解的行正交矩阵、列正交矩阵和对角矩阵;
C1=U1 (4)
其中,C1和A1分别为光流特征序列的测量矩阵和转换矩阵,D11=[00;Iτ-1 0],D12=[Iτ-1 0;00],Iτ-1为τ-1维单位矩阵;
则光流特征的序列动态特征为
(2.2)轮廓特征序列为{f2(t)}1<t<τ,τ为视频序列的帧数,t为序列数;
对轮廓特征序列进行奇异值分解得下式,
其中,U2、V2和S2分别为式(7)左边奇异值分解的行正交矩阵、列正交矩阵和对角矩阵;
C2=U2 (8)其中,C2和A2分别为轮廓特征序列的测量矩阵和转换矩阵,D21=[00;Iτ-1 0],D22=[Iτ-1 0;00],Iτ-1为τ-1维单位矩阵;
则轮廓特征的序列动态特征为
步骤3,动态特征结构的度量
设视频数据集的数目为m, 为光流的序列动态特征集,其中, 为的第m段视频序列的光流特征的序列动态特征; 为轮廓的序列动态特征集,其中, 为 的第m段视频序列的轮廓特征的序列动态特征;
(3.1)对光流特征的序列动态特征度量,设 为 和 的距离, 和 两个子空间的标准正交基为T1i={t1i1,t1i2,...,t1i5}和R1j={r1j1,r1j2,...,r1j5},则有其中,(3.2)对轮廓特征的序列动态特征度量,设 为 和 的距离, 和 两个子空间的标准正交基为T2i={t2i1,t2i2,...,t2i5}和R2j={r2j1,r2j2,...,r2j5},则有其中,步骤4,动态特征结构融合映射
定义 和 特征结构测度相似矩阵,以步骤3计算度量的相似矩阵为W1={W1i,j}和W2={W2i,j}(i=1,2,...,m j=1,2,...,m)如下式:当 时, 和 是近邻,当W1i,j=0时, 和 不是近邻;
当 时, 和 是近邻,当W2i,j=0时, 和 不是近邻;
其中,
Wi,j=W1i,j+W2i,j (16)其中,Wi,j为W矩阵在i行j列的元素;
可以通过以下两式求解,
(DU-WU)v=λDUv (17)(DV-WV)u=λDVu (18)其 中,
v为求解式(17)最小的d个广义特征值λ1<λ2<...<λd对应的特征向量v1,v2,...,vd,u为求解式(18)最小的d个广义特征值λ1<λ2<...<λd对应的特征向量u1,u2,...,ud;
求解U和V矩阵过程如下:
①设U为单位矩阵,求解式(17)最小的d个广义特征值λ1<λ2<...<λd对应的特征向量v1,v2,...,vd,则V=[v1,v2,...,vd] (19)②将V带入式(18),求解最小的d个广义特征值λ1<λ2<...<λd对应的特征向量u1,u2,...,ud,则U=[u1,u2,...,ud] (20)再将U带入式(17)求解,重复以上①和②过程20次,最终求得U和V矩阵;
最终结构融合的特征为Y,
T
Y=UPV (21)。