1.一种基于哈希学习的跨模态材料表面检索方法,其特征在于:该方法包括以下步骤:S1:获取训练数据集,其中每个材料表面样本包括视觉图片和触觉加速度;
S2:对所述S1步骤得到的训练集进行符号化表示,建立两个并行的深度网络,将视觉图片和触觉加速度输入网络,得到视觉和触觉的特征表示;
S3:将所述S2步骤得到的不同模态特征表示分别输入自注意力网络,得到不同模态自注意力特征;
S4:建立哈希层,将所述S3步骤得到的视触自注意力实值特征转化为二进制哈希码,同时建立模态内中心约束并利用跨模态损失函数优化整个网络;
S5:建立跨模态材料表面检索装置,实现跨模态检索。
2.根据权利要求1所述的一种基于哈希学习的跨模态材料表面检索方法,其特征在于:在所述S1步骤,训练数据集为TUM纹理数据库,其中主要包含材料表面视觉图像数据以及材料表面触觉加速度数据。
3.根据权利要求1所述的一种基于哈希学习的跨模态材料表面检索方法,其特征在于:所述S2步骤包括:
S21:针对所获取的训练数据集,该数据集可符号化为一个包含N实例的数据集其中每个实例oi={vi,ti,li}分别包含一个材料表面视觉图像数据vi、一个材料表面触觉加速度样本ti和一个多类别标签li;
S22:将视觉图像数据vi输入已完成预训练的VGG‑19网络,将最后一个卷积层的输出作v为视觉特征 其中f 为视觉全局特征, 为每个图像子区域的局部特征,m为图像子区域的数量;
S23:将触觉加速度数据ti输入GRU网络,将GRU网络各个隐藏节点的输出作为触觉特征t其中f为触觉全局特征, 为GRU每个隐藏节点的触觉局部特征,n为GRU的隐藏节点个数。
4.根据权利要求1所述的一种基于哈希学习的跨模态材料表面检索方法,其特征在于:所述S3步骤包括:
S31:利用自注意力网络提取视觉样本的跨模态相关语义信息,剔除无关的冗余信息,v对于视觉特征,首先将S3步骤中的觉特征f分别通过3个不同的1×1卷积核,分别得到三个v v v v v v特征图F(f)=WFf ,P(f)=WPf ,K(f)=WKf ,其中WF,WP,WK分别为三个不同的1×1卷积核v v权重,F(·)表示1×1卷积计算;接着,根据特征图F(f),P(f)得到自注意力权重,即计算Fv v(f)中图像区域i与P(f)中其他区域j的相关程度δi,j:其中
v
S32:自注意力权重δi,j和特征图K(f)计算得到视觉自注意力特征v
S33:最后将视觉自注意力特征 与视觉原始特征图f 进行融合,得到最终视觉特征图其中 μ为预设的全局参数,其值为0.25;
t
S34:对于触觉数据,首先计算S3步骤中触觉特征f 中第i个局部特征对其他局部第j个特征的注意力权重εi,j:其中,
t
S35:接着,利用自注意力权重εi,j和触觉特征f得到注意力特征t
S36:最后将自注意力特征 与触觉原始特征图f 进行融合,得到最终触觉特征图其中 ξ为预设的全局参数,其值为0.25。
5.根据权利要求4所述的一种基于哈希学习的跨模态材料表面检索方法,其特征在于:所述S4步骤4包括:
S41:通过哈希模块将视觉和触觉特征映射到低维公共汉明空间,为视觉网络和触觉网络分别搭建三层全连接层,其中前两层为普通全连接层,激活函数为Relu,最后层为哈希层,激活函数为Tanh;
v t
将S3步骤中视觉特征图G 和触觉特征图G 分别输入对应哈希模块,得到哈希层的输出分别为 以及 将 分别输入符号函数sign(·)二值化后,分别得到视触低维二进制哈希码整体步骤可表示为以下公式:
其中θv,θt分别为视觉和触觉哈希模块的参数;
S42:为跨模态材料表面检索定义损失函数,目的在于使相似实例的视触哈希码之间的汉明距离缩小,使不相似实例的视触哈希码之间的汉明距离增大:其中,Sij∈{0,1}用来判断vi,tj是否属于同一类,Dij表示视觉数据vi对应的哈希码 与触觉数据tj对应的哈希码 之间的汉明距离,L为预设的间隔;通过该目标函数,可以使相似的视觉实例与触觉实例的哈希汉明距离小于间隔,使不相似的视觉实例与触觉实例的哈希汉明距离大于间隔;
S43:在单模态内部,存在丰富的结构信息,这些信息隐含了模态内部的语义和特征分布信息;定义以下模态内中心约束:其中 分别为视觉数据和触觉数据所属类别对应的类别中心,通过中心损失,使模态内部属于同一类别的实例的哈希码尽可能分布在中心附近。
6.一种基于权利要求1~5任一项所述的哈希学习的跨模态材料表面检索方法的装置,其特征在于:该装置包括:一个存储器,能够存储上述程序,同时将S5步骤中得到的视觉二进制码 以及触觉二进制码 存入存储器;
一个处理器,能够加载并运行跨模态检索程序,输入某一模态待检索实例数据q,处理器通过计算二进制码之间汉明距离,在存储器数据库中检索出距离最小的另一模态二进制码,并返回该二进制码对应的模态数据p。