欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2018114693831
申请人: 西安理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2024-01-05
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于三元组卷积神经网络的行人再识别方法,其特征在于,具体按照以下步骤实施:步骤1、在行人数据集图像中随机采样P个行人,并从每个行人中随机选择K个图像,形成具有P×K个图像的一个小批量样本;

步骤2、将经步骤1得到的小批量样本依次输入至三元组卷积神经网络中,输出小批量样本中每个行人图像的全局特征和局部特征;

步骤3、利用欧氏距离公式计算经步骤2得到的小批量样本中每两个行人图像全局特征之间的距离并确定全局特征之间的相似性,通过引入最短路径损失计算小批量样本中每两个行人图像之间对应身体部位的局部特征之间的距离,对齐每两个行人图像之间对应身体部位的局部特征;

步骤4、利用步骤3得到的每两个行人图像全局特征之间的相似性结合小批量难样本挖掘策略,在步骤1得到的具有P×K个图像的一个小批量样本中形成P×K对三元组样本;

步骤5、利用Log-logistic函数代替铰链函数改进三元组卷积神经网络损失函数,得到改进后的三元组卷积神经网络损失函数;

步骤6、利用经步骤4得到的P×K对三元组样本和经步骤5得到的改进后的三元组卷积神经网络损失函数训练三元组卷积神经网络,确定能够有效提取特征来识别行人的网络参数,得到训练好的三元组卷积神经网络;

步骤7、利用经步骤6得到的训练好的三元组卷积神经网络识别目标行人图像,并结合置信度测量机制得到目标行人图像的最终相似性排名列表识别矩阵来进一步避免目标行人图像和待识别行人图像之间的误匹配。

2.根据权利要求1所述的基于三元组卷积神经网络的行人再识别方法,其特征在于,所述步骤2具体按照以下步骤实施:步骤2.1、将经步骤1得到的小批量样本依次输入至三元组卷积神经网络中提取所需图像特征,输出特征图,对特征图采用池化窗口得到全局特征;

步骤2.2、对特征图每一行执行水平池化提取得到局部特征。

3.根据权利要求1所述的基于三元组卷积神经网络的行人再识别方法,其特征在于,所述步骤3具体按照以下步骤实施:步骤3.1、选取经步骤2得到的小批量样本中每两个行人图像的全局特征,利用欧氏距离公式(1)计算每两个行人图像全局特征之间的距离,所述欧氏距离公式(1)为:式中,d12表示两个行人图像全局特征之间的距离,x1k表示第一个行人图像的第k维全局特征,x2k表示表示第二个行人图像的第k维全局特征,d12与两个行人图像全局特征之间的相似性成正比;

步骤3.2、选取经步骤2得到的小批量样本中每两个行人图像的局部特征,利用公式(2)计算每两个行人图像中第一个行人图像的局部特征中的第i个水平块与第二个行人图像的局部特征中的第j个水平块之间的距离,所述公式(2)为:式中,di,j表示第一个行人图像的局部特征中的第i个水平块与第二个行人图像的局部特征中的第j个水平块之间的距离,di,j与两个行人图像对应局部特征之间的相似性成正比,fi表示第一个行人图像的局部特征,gj表示第二个行人图像的局部特征,再将计算得到的若干di,j组成距离矩阵D,通过公式(3)计算每两个行人图像之间对应身体部位的局部特征之间的距离,所述公式(3)为:式中,Si,j表示距离矩阵D中元素(1,1)到(i,j)之间最短路径的距离总和,计算得出SH,H,SH,H表示距离矩阵D中从(1,1)到(H,H)最短路径的总和即每两个行人图像之间对应身体部位的局部特征之间的距离,至此对齐每两个行人图像之间对应身体部位的局部特征。

4.根据权利要求1所述的基于三元组卷积神经网络的行人再识别方法,其特征在于,所述步骤4具体按照以下步骤实施:步骤4.1、在经步骤1得到的具有P×K个图像的一个小批量样本中,通过小批量难样本挖掘策略,选择该小批量样本中的每一个样本X在此小批量样本中的最难正样本和最难负样本,共组成P×K对三元组样本,所述小批量难样本挖掘策略为:式(3)表示最难正样本挖掘策略,式(4)表示最难负样本挖掘策略, 表示小批量样本中的第i个行人的第a个图像, 表示小批量样本中的第j个行人的第n个图像,fθ(x)表示样本X经过三元组卷积神经网络输出的全局或局部特征, 和表示样本X与小批量样本中其他样本的全局特征之间的距离。

5.根据权利要求1所述的基于三元组卷积神经网络的行人再识别方法,其特征在于,所述步骤5具体按照以下步骤实施:步骤5.1、利用Log-logistic函数代替铰链函数改进三元组卷积神经网络损失函数,改进后的三元组卷积神经网络损失函数如下:式中,PK表示经步骤4得到的PK对三元组样本,i指的是P个行人中的任意一个行人,a指的是一个行人图像上K个图片中的任意一张图片。

6.根据权利要求3所述的基于三元组卷积神经网络的行人再识别方法,其特征在于,所述步骤6具体按照以下步骤实施:步骤6.1、将步骤1中的小批量样本输入至三元组卷积神经网络中重复步骤2提取目标行人图像的特征和待识别行人图像的特征,重复步骤3计算目标行人图像和待识别行人图像全局特征之间的相似性,计算目标行人图像和待识别行人图像之间对应身体部位的局部特征之间的距离,对齐每两个行人图像之间对应身体部位的局部特征;

步骤6.2、利用经步骤5得到的改进型三元组损失函数训练三元组卷积神经网络的网络参数,直至达到预期精度或预期的迭代次数,得到训练好的三元组卷积神经网络。

7.根据权利要求1所述的基于三元组卷积神经网络的行人再识别方法,其特征在于,所述步骤7具体按照以下步骤实施:步骤7.1、重复步骤2将目标行人图像和待识别行人图像输入至经步骤6得到的训练好的三元组卷积神经网络提取输出全局、局部特征;

步骤7.2、重复步骤3计算目标行人图像和待识别行人图像全局特征之间的距离与局部特征之间的距离,按照全局特征间的相似性与局部特征间的相似性之和对目标行人图像中所有行人图像按照相似性由小到大进行排序,形成排序列表如下:R=[r1,,r2,…,rN]             (6)

列表中,rN表示目标行人图像中第N个行人图像的排序;

步骤7.3、将经步骤7.2得到的排列序表重新排序:

步骤7.3.1、重复步骤3计算目标行人图像中两两行人之间的全局特征之间的距离;

步骤7.3.2、计算目标行人图像中每个行人相对于待识别行人图像的置信度得分:目标行人图像中每个行人相对于待识别行人图像的置信度得分,等于目标行人图像中每个行人与其余行人全局特征之间的距离小于目标行人图像中每个行人和待识别行人图像全局特征之间的距离的个数之和;

步骤7.3.3、将目标行人图像中每个行人相对于待识别行人图像的置信度得分汇总为排序列表如下:Sg=[sg1,sg2,…,sgc]            (7)

式中,gi表示目标行人图像中每个行人,sgi表示每一个目标行人图像的置信度得分;

步骤7.4、将步骤7.2输出的排序列表(6)和步骤7.3输出的排序列表(7)融合得到目标行人图像的最终相似性排名列表识别矩阵,即Rf矩阵如下:式中,表示R和Sg之间逐元素哈达马积。