1.一种基于带权哈希码的多媒体数据跨模态检索方法,其特征在于,包括:获取不同模态的多媒体数据,构建训练样本集;
对训练样本进行特征提取,获取不同模态的训练样本的特征,训练哈希检索模型;所述哈希检索模型包括哈希码和哈希函数,基于训练样本的特征和语义标签,学习训练集样本数据的哈希码和位权矩阵;基于训练样本的特征和哈希码,学习不同模态的哈希函数;
所述哈希检索模型的训练过程,包括:
利用聚类算法将训练集中的训练数据划分为多组,构造每组的局部类别关联矩阵;具体为:利用聚类算法对训练样本特征进行聚类,将训练集中的训练数据划分为p组,针对每组训练数据,定义局部的类别关联矩阵,即:;
其中,为训练集样本数据的语义标签矩阵,c为标签类别数,n为训练集样本数,是行归一化的第m组语义标签矩阵;其中,整个训练集的语义标签矩阵指取值为1和0的逻辑标签矩阵,即对于该矩阵中的每个元素,=1表示训练集中第j个样本属于第i个类别,否则=0表示训练集中第j个样本不属于第i个类别;对于分组后的语义标签矩阵,=1表示第m组第j个样本属于第i个类别,否则=0表示第m组第j个样本不属于第i个类别;
根据局部类别关联矩阵和语义标签,获得每组的局部标签分布矩阵,组合得到训练样本的全局标签分布矩阵;具体为:利用局部类别关联矩阵和训练集样本的语义标签定义学习标签分布的目标函数,该目标函数主要包含两部分:标签分布与语义标签尽可能相似,以及同一组内所有样本在任意两个类别上的标签分布向量间距离与相应的语义类别值保持一致,该目标函数为:;
其中,是用于调整前后两项贡献的平衡参数,、、分别为标签分布矩阵、语义标签矩阵和类别关联矩阵,c为标签类别数,n为训练集样本数,矩阵下标m表示通过对训练数据特征聚类后的分组组号,下标*表示对应矩阵取满该列或行,表示矩阵第i行这一整行;
对目标函数公式求导并使导数为0,得到第m组的标签分布矩阵,即:
;
其中,是的拉普拉斯矩阵,是一个全1矩阵,通过计算所有组的局部标签分布矩阵,组合即得到训练样本的全局标签分布矩阵;
利用生成的标签分布矩阵构造相似度矩阵,通过将带权哈希码内积近似该相似度矩阵构建目标函数,求解获得哈希码矩阵和位权矩阵;
将待检索数据输入训练完成的哈希检索模型,根据提取的待检索数据的特征,结合该待检索数据相应模态的哈希函数,获得待检索数据的哈希码,根据该待检索数据哈希码与数据库中样本数据哈希码的带权海明距离,输出检索结果。
2.如权利要求1所述的基于带权哈希码的多媒体数据跨模态检索方法,其特征在于,所述求解过程为:初始化位权矩阵为单位矩阵,引入中间变量以及平衡和不相关约束,求解得到哈希码矩阵;
通过对目标函数求导并使导数为0,结合计算得到的哈希码矩阵和相似度矩阵,求解得到位权矩阵。
3.如权利要求1所述的基于带权哈希码的多媒体数据跨模态检索方法,其特征在于,还包括:对获取的不同模态训练数据的特征进行核化,得到核化后的特征矩阵,基于学习得到的哈希码矩阵,通过核逻辑回归模型学习得到不同模态的哈希函数。
4.如权利要求1所述的基于带权哈希码的多媒体数据跨模态检索方法,其特征在于,所述带权海明距离的计算过程,包括:获取训练集样本数据哈希码与待检索数据哈希码,对哈希码进行分段,在每个分段上执行异或运算,得到每个分段的字节类型值;
使用学习得到的位权矩阵构造各分段的查找表;
根据各个分段的字节类型值访问相应的查找表,计算每一分段的浮点值,通过对所有分段的浮点值求和得到待检索数据和训练集样本数据之间的带权海明距离。
5.如权利要求1所述的基于带权哈希码的多媒体数据跨模态检索方法,其特征在于,根据带权海明距离输出检索结果,包括:计算待检索数据哈希码与训练集中所有样本数据哈希码的带权海明距离后,根据带权海明距离对数据库中样本从小到大排序,选择前k个样本作为检索结果输出,其中,k为不小于1的整数。
6.一种基于带权哈希码的多媒体数据跨模态检索系统,其特征在于,包括:训练样本集构建模块,用于获取不同模态的多媒体数据,构建训练样本集;
哈希检索模型训练模块,用于对训练样本进行特征提取,获取不同模态的训练样本的特征,训练哈希检索模型;所述哈希检索模型包括哈希码和哈希函数,基于训练样本的特征和语义标签,学习训练集样本数据的哈希码和位权矩阵;基于训练样本的特征和哈希码,学习不同模态的哈希函数;
所述哈希检索模型的训练过程,包括:
利用聚类算法将训练集中的训练数据划分为多组,构造每组的局部类别关联矩阵;具体为:利用聚类算法对训练样本特征进行聚类,将训练集中的训练数据划分为p组,针对每组训练数据,定义局部的类别关联矩阵,即:;
其中,为训练集样本数据的语义标签矩阵,c为标签类别数,n为训练集样本数,是行归一化的第m组语义标签矩阵;其中,整个训练集的语义标签矩阵指取值为1和0的逻辑标签矩阵,即对于该矩阵中的每个元素,=1表示训练集中第j个样本属于第i个类别,否则=0表示训练集中第j个样本不属于第i个类别;对于分组后的语义标签矩阵,=1表示第m组第j个样本属于第i个类别,否则=0表示第m组第j个样本不属于第i个类别;
根据局部类别关联矩阵和语义标签,获得每组的局部标签分布矩阵,组合得到训练样本的全局标签分布矩阵;具体为:利用局部类别关联矩阵和训练集样本的语义标签定义学习标签分布的目标函数,该目标函数主要包含两部分:标签分布与语义标签尽可能相似,以及同一组内所有样本在任意两个类别上的标签分布向量间距离与相应的语义类别值保持一致,该目标函数为:;
其中,是用于调整前后两项贡献的平衡参数,、、分别为标签分布矩阵、语义标签矩阵和类别关联矩阵,c为标签类别数,n为训练集样本数,矩阵下标m表示通过对训练数据特征聚类后的分组组号,下标*表示对应矩阵取满该列或行,表示矩阵第i行这一整行;
对目标函数公式求导并使导数为0,得到第m组的标签分布矩阵,即:
;
其中,是的拉普拉斯矩阵,是一个全1矩阵,通过计算所有组的局部标签分布矩阵,组合即得到训练样本的全局标签分布矩阵;
利用生成的标签分布矩阵构造相似度矩阵,通过将带权哈希码内积近似该相似度矩阵构建目标函数,求解获得哈希码矩阵和位权矩阵;
检索模块,用于将待检索数据输入训练完成的哈希检索模型,根据提取的待检索数据的特征,结合该待检索数据相应模态的哈希函数,获得待检索数据的哈希码,根据该待检索数据哈希码与数据库中样本数据哈希码的带权海明距离,输出检索结果。
7.一种电子设备,其特征在于,包括存储器和处理器以及存储在存储器上并在处理器上运行的计算机指令,所述计算机指令被处理器运行时,完成如权利要求1-5中任一项所述的一种基于带权哈希码的多媒体数据跨模态检索方法的步骤。
8.一种计算机可读存储介质,其特征在于,用于存储计算机指令,所述计算机指令被处理器执行时,完成如权利要求1-5中任一项所述的一种基于带权哈希码的多媒体数据跨模态检索方法的步骤。