1.一种基于语义融合的跨模态信息检索方法,其特征在于,包括:采集原始数据,并对所述原始数据进行预处理;
所述原始数据包括原始图像、音频以及触觉信号;
将所述预处理后的原始数据分别进行特征提取和模型训练,得到不同的模态特征;
所述预处理包括,
预加重:
设置新的信号x(n),0≤n≤N‑1,将预加重滤波器作用于信号x(n),得到预加重信号y(n):其中,α表示预加重滤波器系数,N为信号长度,信号x(n)采样频率为fs;
分帧:
将帧大小FRAME_SIZE记为Nsz,帧步长FRAME_STRIDE记为Nsd,计算帧长FRAME_LENGTH为Nlg=Nsz·fs,帧步数FRAME_STEP为Nsp=Nsd·fs,帧个数FRAME_NUM为Nm=ceil(|N‑Nlg|/Nsp),需要填充信号的长度PADDING_LENGTH为NP=Nm·Nsp+Nlg,将信号y(n)补零至长度NP,NP>N,得到填充后的信号z(n):构图:
构造p行q列的索引矩阵A:
其中,p表示Nm,q表示Nlg,r表示Nsp;
所述矩阵A记为:
基于所述信号z(n)以及所述矩阵A进行构图,得到矩阵B:其中,z(apq)表示信号z(n)的第apq个取值;
将所述不同的模态特征输入到同一网络中进行语义融合,得到语义融合网络模型;
基于所述语义融合网络模型以及查询集样本进行检索,完成跨模态信息检索。
2.如权利要求1所述的基于语义融合的跨模态信息检索方法,其特征在于:将所述原始图像的分辨率调整为224×224×3;
将所述音频转换成离散数字信号;
将所述触觉信号或者所述离散数字信号作为新的信号进行预处理。
3.如权利要求2所述的基于语义融合的跨模态信息检索方法,其特征在于:所述预处理还包括,加窗:汉明窗w(n)表示为:
基于所述矩阵B和所述汉明窗w(n),得到加窗后的矩阵C:功率谱:计算信号功率谱P的公式为:
其中,xi表示矩阵C第i行的q个数据,1≤i≤p,|FFT(xi)|表示对q个数据作M点快速傅里叶变换后取幅值,得到floor(M/2+1)个点,将floor(M/2+1)表示为s;
基于计算信号功率谱 得到最终的功率谱矩阵D:2
其中,[di1,di2,…,dis]表示经过|FFT(xi)|/M运算后得到的s个点;
滤波器组:
设置滤波器个数为K,最低梅尔频率LOW_MEL为ml=0,最高梅尔频率HIGH_MEL为mh=
2595log10(1+(fs/2)/700),从ml至mh之间等间距取K+2个点,包含起始和末尾点,并从小到大依次排列,得到向量[u0,u1,…,uK+1],将该向量中的每个元素ui通过公式得到元素vi,0≤i≤K+1,表示为向量[v0,v1,…,vK+1];
将滤波器组Hm(k)表示为:
其中,f(i)=floor((M+1)·vi/fs),0≤i≤K+1;
构造滤波器组矩阵Q:
最终构图:
将矩阵QK×s乘以矩阵Dp×s的转置,并将所得矩阵中的每个元素以10为底取对数再乘以
10,得到最终p行K列的矩阵OK×p:
T
OK×p=Qk×s·Dp×s
将二维矩阵OK×p通过色彩映射变为三维矩阵,得到触觉信号或音频信号的时频图,将所述时频图分辨率调整为224×224×3。
4.如权利要求1或3所述的基于语义融合的跨模态信息检索方法,其特征在于:所述模型训练包括,将原始图像、音频和触觉信号经过预处理后得到的224×224×3的图像输入至VGG16网络中,输出的特征向量的形状为(7,7,512),并通过扁平层扁平化为一维向量。
5.如权利要求4所述的基于语义融合的跨模态信息检索方法,其特征在于:所述模型训练还包括,将所述一维向量分别进行模型训练,模态训练模型网络结构依次为:批量归一化层、Dropout层1、全连接层1、Dropout层2、全连接层2;
采用Adam优化器,设置优化器学习率为0.001、批次为64、损失函数为多分类交叉熵损失函数;
设置三种模态各自模型的总迭代次数为M1、M2、M3;达到迭代次数后停止迭代,移除模型的Dropout层2、全连接层2,保存模态结构:批量归一化层、Dropout层1、全连接层1以及训练后模型的权重。
6.如权利要求1或5所述的基于语义融合的跨模态信息检索方法,其特征在于:所述模态特征提取包括,损失函数L:
L=L1+λ·L2
其中,λ表示损失函数的超参数,NV、NA、NT分别表示图像、音频、触觉信号的样本数, 表示图像样本NV中第k个样本经过图像模态的独立训练模型输出的特征, 表示图像样本NV中第k个样本特征对应的标签, 表示音频样本NA中第k个样本经过音频模态的独立训练模型输出的特征, 表示音频样本NA中第k个样本特征对应的标签, 表示触觉信号样本NT中第k个样本经过触觉模态的独立训练模型输出的特征, 表示触觉信号样本NV中第k个样本特征对应的标签,g(·)表示多分类交叉熵损失函数,Ns表示图像、音频、触觉信号的样本m总数,x表示样本总数Ns中第m个样本经过模态的独立训练模型输出的特征,cm表示该第m个样本对应的类别中心,所述中心随着每次迭代的批次不断更新。
7.如权利要求6所述的基于语义融合的跨模态信息检索方法,其特征在于:所述语义融合网络模型结构依次包括,全连接层3、Dropout层3、全连接层4、Dropout层4、全连接层5、Dropout层5、全连接层6;
所述语义融合的训练过程包括,
采用Adam优化器,设置优化器学习率为0.001、批次为64、损失函数为所述损失函数L,设置总迭代次数为Ms,达到迭代次数后停止迭代,保存模型结构以及训练后的模型权重。
8.如权利要求7所述的基于语义融合的跨模态信息检索方法,其特征在于:基于所述语义融合网络模型以及查询集样本进行检索,所述检索过程包括,提供一个查询集样本和一个检索集样本,将两个样本经过所述优化后的语义融合网络模型,分别输出向量qi、rj,采用余弦函数进行相似性度量:其中,i和j分别表示查询集、检索集中样本的序号;
固定i,将j遍历检索集后按距离从大到小的顺序进行排序,提取距离排序前k个值所对应的检索样本。