欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2021107483084
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于哈希学习的跨模态材料表面检索方法,其特征在于:该方法包括以下步骤:S1:获取训练数据集,其中每个材料表面样本包括视觉图片和触觉加速度;

S2:对所述S1步骤得到的训练集进行符号化表示,建立两个并行的深度网络,将视觉图片和触觉加速度输入网络,得到视觉和触觉的特征表示;

S3:将所述S2步骤得到的不同模态特征表示分别输入自注意力网络,得到不同模态自注意力特征;

S4:建立哈希层,将所述S3步骤得到的视触自注意力实值特征转化为二进制哈希码,同时建立模态内中心约束并利用跨模态损失函数优化整个网络;

S5:建立跨模态材料表面检索装置,实现跨模态检索。

2.根据权利要求1所述的一种基于哈希学习的跨模态材料表面检索方法,其特征在于:在所述S1步骤,训练数据集为TUM纹理数据库,其中主要包含材料表面视觉图像数据以及材料表面触觉加速度数据。

3.根据权利要求1所述的一种基于哈希学习的跨模态材料表面检索方法,其特征在于:所述S2步骤包括:

S21:针对所获取的训练数据集,该数据集可符号化为一个包含N实例的数据集其中每个实例oi={vi,ti,li}分别包含一个材料表面视觉图像数据vi、一个材料表面触觉加速度样本ti和一个多类别标签li;

S22:将视觉图像数据vi输入已完成预训练的VGG‑19网络,将最后一个卷积层的输出作v为视觉特征 其中f 为视觉全局特征, 为每个图像子区域的局部特征,m为图像子区域的数量;

S23:将触觉加速度数据ti输入GRU网络,将GRU网络各个隐藏节点的输出作为触觉特征t其中f为触觉全局特征, 为GRU每个隐藏节点的触觉局部特征,n为GRU的隐藏节点个数。

4.根据权利要求1所述的一种基于哈希学习的跨模态材料表面检索方法,其特征在于:所述S3步骤包括:

S31:利用自注意力网络提取视觉样本的跨模态相关语义信息,剔除无关的冗余信息,v对于视觉特征,首先将S3步骤中的觉特征f分别通过3个不同的1×1卷积核,分别得到三个v v v v v v特征图F(f)=WFf ,P(f)=WPf ,K(f)=WKf ,其中WF,WP,WK分别为三个不同的1×1卷积核v v权重,F(·)表示1×1卷积计算;接着,根据特征图F(f),P(f)得到自注意力权重,即计算Fv v(f)中图像区域i与P(f)中其他区域j的相关程度δi,j:其中

v

S32:自注意力权重δi,j和特征图K(f)计算得到视觉自注意力特征v

S33:最后将视觉自注意力特征 与视觉原始特征图f 进行融合,得到最终视觉特征图其中 μ为预设的全局参数,其值为0.25;

t

S34:对于触觉数据,首先计算S3步骤中触觉特征f 中第i个局部特征对其他局部第j个特征的注意力权重εi,j:其中,

t

S35:接着,利用自注意力权重εi,j和触觉特征f得到注意力特征t

S36:最后将自注意力特征 与触觉原始特征图f 进行融合,得到最终触觉特征图其中 ξ为预设的全局参数,其值为0.25。

5.根据权利要求4所述的一种基于哈希学习的跨模态材料表面检索方法,其特征在于:所述S4步骤4包括:

S41:通过哈希模块将视觉和触觉特征映射到低维公共汉明空间,为视觉网络和触觉网络分别搭建三层全连接层,其中前两层为普通全连接层,激活函数为Relu,最后层为哈希层,激活函数为Tanh;

v t

将S3步骤中视觉特征图G 和触觉特征图G 分别输入对应哈希模块,得到哈希层的输出分别为 以及 将 分别输入符号函数sign(·)二值化后,分别得到视触低维二进制哈希码整体步骤可表示为以下公式:

其中θv,θt分别为视觉和触觉哈希模块的参数;

S42:为跨模态材料表面检索定义损失函数,目的在于使相似实例的视触哈希码之间的汉明距离缩小,使不相似实例的视触哈希码之间的汉明距离增大:其中,Sij∈{0,1}用来判断vi,tj是否属于同一类,Dij表示视觉数据vi对应的哈希码 与触觉数据tj对应的哈希码 之间的汉明距离,L为预设的间隔;通过该目标函数,可以使相似的视觉实例与触觉实例的哈希汉明距离小于间隔,使不相似的视觉实例与触觉实例的哈希汉明距离大于间隔;

S43:在单模态内部,存在丰富的结构信息,这些信息隐含了模态内部的语义和特征分布信息;定义以下模态内中心约束:其中 分别为视觉数据和触觉数据所属类别对应的类别中心,通过中心损失,使模态内部属于同一类别的实例的哈希码尽可能分布在中心附近。

6.一种基于权利要求1~5任一项所述的哈希学习的跨模态材料表面检索方法的装置,其特征在于:该装置包括:一个存储器,能够存储上述程序,同时将S5步骤中得到的视觉二进制码 以及触觉二进制码 存入存储器;

一个处理器,能够加载并运行跨模态检索程序,输入某一模态待检索实例数据q,处理器通过计算二进制码之间汉明距离,在存储器数据库中检索出距离最小的另一模态二进制码,并返回该二进制码对应的模态数据p。