1.一种基于哈希学习的在线高维数据最近邻查询方法,其特征在于包括以下步骤:①图像数据获取和预处理:在公开的图像领域网站获取包含原始二维图像的数据集,按照图像像素信息将该数据集等价转换成保留原始特征的数值矩阵,并对数值矩阵进行数据清洗和降维处理两步操作,具体操作过程为:①‑1对获取的图像数据进行归一化操作,维持整体数据的完整性,对离群数值使用分箱、聚类、和回归进行人工处理,对离群图像像素数据采用均值代替;
①‑2采用SIFT算法提取原始二维图像中的局部性特征,把图像中关键点定位并确定图像局部的梯度方向,降低原始二维图像中的高维数据,然后将原始二维图像数据集合分为训练图像数据库X=[x1,x2,...,xi,.xn]和查询图像数据库Y=[x1,x2,...,xi,.xq],其中xi为任意一张图像的d维特征向量,i是数据库中图像数据的编号,n是训练图像个数,q是测试图像个数,再将训练图像数据库中的训练数据设置为流式数据的形式顺序传送;
d×n
②定义处理数据的哈希模型:对于给定的原始数据X∈R ,定义映射原始数据的哈希函数为:d×n
其中R 是d行n列的实数矩阵,c是样本数据的个数,d是样本数据
r×d T r×d
的维数,W=[w1,...wr]∈R 是哈希投影向量,W 是W的转置,R 是r行d列的实数矩阵,r表示投影的维度, 是第i个数据的除去均值后的结果,sgn表示取符号函数两种值{+1,‑1},F是r维度的二进制编码;
③建立预测损失函数:对于顺序收到的流式数据,根据相似或者不相似数据对的标签,计算对应海明距离的均值,分别统计相似或者不相似数据两类样本的阈值,然后根据流式数据对的海明距离和阈值关系,根据任意数据经过哈希函数映射后是否仍然保持相似性的原则,建立判断更新后的哈希向量是否合理的海明距离预测损失函数:式中, 为海明距离预测函数值, 是数据对 的海明距离,t为迭代
次数,αg和βg分别是相似和不相似数据的海明距离阈值,max代表取最大值函数, 为数据对 的相似标签,1代表相似,‑1代表不相似;
(0) (t)
④获取目标函数:定义原始数据对应的哈希向量为W ,t轮次训练的哈希向量为W :式中, 为数据对 在哈希向量W
(t) (t‑1)
的映射下的哈希编码损失值, 为F范数的平方,W 表示前一轮训练的哈希向量,W(t‑n)表示前n轮训练的哈希向量,m表示选取的中间哈希向量,η为相邻两次更新哈希编码损失差值,当步骤③中预测损失函数值为零时,则判断经过哈希函数映射后的新数据与原始(t)数据相似性保持一致,将此时的哈希向量W 作为目标函数参数,当步骤③中预测损失函数值非零时,则判断经过哈希函数映射后的新数据与原始数据相似性未保持一致,则计算下一轮次训练的哈希向量,并判断下一数据的相似性,直到找到符合要求的新的数据,并将此时的哈希向量作为目标函数的参数;
⑤优化目标函数:对于目标函数,用随机梯度下降算法SGD寻找每次迭代过程中当前范(0)围内的极小值,每次迭代的一对数据 随机选取,从原始数据对应的哈希向量W 开始不断迭代产生新的投影向量,对于每一个投影向量都要沿着梯度下降的方向计算更新,如此往复直至代价函数足够小为止,即在W维度空间内,不断向函数减小的方向逼近,直至局(*)部最低点,找到其导数近似为零的W ,即为极小值点,将对应的哈希向量作为目标函数最优值;
⑥测试数据库查询:对于待查询数据点xi,在查询图像数据库Y中查找近似图像,首先按照步骤①初步处理待查询图像数据,然后选取最新更新的哈希向量组成哈希函数族,把待查询图像数据映射到海明空间后,将查询图像数据库Y中的数据集进行海明距离排序比较,根据降序排序筛选出最接近的数据点,作为待查询图像数据的反馈结果。