欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022115975460
申请人: 南京信息职业技术学院
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于精确特征分布匹配和多域信息融合的跨域行人重识别方法,其特征在于:基于各拍摄角度分别所对应包含各已知身份标签目标人物的各幅样本图像的源域样本集Si,结合包含各目标人物、但未知对应身份标签的各幅样本图像的目标域样本集T,执行如下步骤A至步骤B,获得关于各目标人物的目标人物识别模型;然后应用目标人物识别模型,执行如下步骤C,针对待分析人物图像,实现关于目标人物的识别;1≤i≤I,I表示的拍摄角度的数量,Si表示第i个拍摄角度对应的源域样本集;

步骤A.构建以人物图像为输入、关于目标人物的身份标签识别结果为输出的待训练模型,然后进入步骤B;

步骤B.基于多源域对比损失模块LHM、以及各源域样本集Si分别对应的源域特定归一化层DSBN_Si与源混合记忆存储器HM_Si,根据各源域样本集Si、以及目标域样本集T,针对待训练模型进行训练,获得关于各目标人物的目标人物识别模型;

步骤C.由目标人物识别模型接收待分析人物图像、并进行处理,获得待分析人物图像关于目标人物的身份标签识别结果。

2.根据权利要求1所述一种基于精确特征分布匹配和多域信息融合的跨域行人重识别方法,其特征在于:所述步骤A中,所述待训练模型包括特征提取器、广义均值池化模块GeM、多域信息融合模块、目标域特定归一化层DSBN_T、目标混合记忆存储器HM_T;

其中,特征提取器自其输入端至其输出端依次包括串联的第一层残差网络L0、第二层残差网络L1、第一精准特征分布匹配模块EFDM1、第三层残差网络L2、第二精准特征分布匹配模块EFDM2、第四层残差网络L3、第五层残差网络L4,由第一层残差网络L0的输入端构成特征提取器的输入端,以及由第五层残差网络L4的输出端构成特征提取器的输出端;多域信息融合模块自其输入端至其输出端依次包括串联的第一图卷积神经网络GCN1、带泄露的修正线性单元ReLU、第二图卷积神经网络GCN2、融合模块,由第一图卷积神经网络GCN1的输入端构成多域信息融合模块的输入端,融合模块的输入端同时对接多域信息融合模块的输入端,融合模块的输出端构成多域信息融合模块的输出端;

特征提取器的输入端构成待训练模型的输入端,特征提取器的输出端对接广义均值池化模块GeM的输入端,广义均值池化模块GeM的输出端对接多域信息融合模块的输入端,多域信息融合模块的输出端对接目标域特定归一化层DSBN_T的输入端,目标域特定归一化层DSBN_T的输出端对接目标混合记忆存储器HM_T的输入端,目标混合记忆存储器HM_T的输出端构成待训练模型的输出端。

3.根据权利要求2所述一种基于精确特征分布匹配和多域信息融合的跨域行人重识别方法,其特征在于:所述步骤B中,基于待训练模型与多源域对比损失模块LHM、以及各源域样本集Si分别对应的源域特定归一化层DSBN_Si与源混合记忆存储器HM_Si的组合结构如下,根据各源域样本集Si、以及目标域样本集T,针对待训练模型进行训练,获得关于各目标人物的目标人物识别模型;

组合结构:多域信息融合模块的输出端分别对接目标域特定归一化层DSBN_T的输入端、各源域特定归一化层DSBN_Si的输入端,目标域特定归一化层DSBN_T的输出端对接目标混合记忆存储器HM_T的输入端,各源域特定归一化层DSBN_Si的输出端分别对接对应源混合记忆存储器HM_Si的输入端,同时目标域特定归一化层DSBN_T的输出端、目标混合记忆存储器HM_T的输出端、各源域特定归一化层DSBN_Si的输出端、各源混合记忆存储器HM_Si的输出端分别对接多源域对比损失模块LHM的输入端。

4.根据权利要求3所述一种基于精确特征分布匹配和多域信息融合的跨域行人重识别方法,其特征在于:所述步骤B中,根据各源域样本集Si、以及目标域样本集T,按如下数据处理方式,针对待训练模型进行训练,获得关于各目标人物的目标人物识别模型;

步骤i.应用特征提取器,分别针对各源域样本集Si、以及目标域样本集T进行特征提取,获得各源域样本集Si分别对应的特征矩阵 以及目标域样本集T对应的特征矩阵 然后进入步骤ii;

步骤ii.分别针对各源域样本集Si对应的特征矩阵 以及目标域样本集T对应的特征矩阵 由广义均值池化模块GeM进行处理,更新获得各源域样本集Si对应的特征矩阵以及目标域样本集T对应的特征矩阵 然后进入步骤iii;

步骤iii.分别针对各源域样本集Si对应的特征矩阵 以及目标域样本集T对应的特征矩阵 由多域信息融合模块进行处理,获得各源域样本集Si分别对应的特征矩阵以及目标域样本集T对应的特征矩阵 然后进入步骤iv;

步骤iv.各特征矩阵 以及特征矩阵 分别经对应各源域特定归一化层DSBN_Si、以及目标域特定归一化层DSBN_T进行处理,获得相应各特征矩阵 以及特征矩阵步骤v.各特征矩阵 以及特征矩阵 分别经对应各源混合记忆存储器HM_Si、以及目标混合记忆存储器HM_T进行处理,获得各源混合记忆存储器HM_Si分别所输出对应源域样本集Si的源域身份标签 以及目标混合记忆存储器HM_T所输出目标域样本集T所有未聚类目标域实例特征矩阵 和目标域聚类伪标签 步骤vi.针对特征矩阵 各特征矩阵 各源域身份标签 以及目标域样本集T所有未聚类目标域实例特征 和目标域聚类伪标签 应用多源域对比损失模块LHM进行损失计算。

5.根据权利要求4所述一种基于精确特征分布匹配和多域信息融合的跨域行人重识别方法,其特征在于:所述步骤i中,分别针对各源域样本集Si、以及目标域样本集T,首先依次经过第一层残差网络L0、第二层残差网络L1进行特征提取,获得各源域样本集Si分别对应的特征矩阵Si′、以及目标域样本集T对应的特征矩阵T′,并输送至第一精准特征分布匹配模块EFDM1进行处理;

接着第一精准特征分布匹配模块EFDM1的处理中,分别针对各特征矩阵Si′、以及特征矩阵T′,先对特征矩阵的各行按值升序排序,获得各特征矩阵Si″、以及特征矩阵T″,再分别针对各特征矩阵Si″,按如下公式(1),获得相应各特征矩阵并由第一精准特征分布匹配模块EFDM1输出各特征矩阵 以及特征矩阵T″至第三层残差网络L2进行处理,其中,·表示停止梯度操作,λ~Beta(α,a),α∈(0,∞)为可调的超参数,Beta(α,a)表示为形状参数为α的贝塔分布;

然后第三层残差网络L2处理中,分别针对各特征矩阵 进行特征提取,获得相应各特征矩阵 并结合特征矩阵T″输送至第二精准特征分布匹配模块EFDM2进行处理,在第二精准特征分布匹配模块EFDM2的处理中,分别针对各特征矩阵 先对特征矩阵的各行按值升序排序,获得各特征矩阵 再分别针对各特征矩阵 按如下公式(2),获得相应各特征矩阵并由第二精准特征分布匹配模块EFDM2输出各特征矩阵 以及特征矩阵T″;

最后分别针对各特征矩阵 以及特征矩阵T″,依次经过第四层残差网络L3、第五层残差网络L4进行特征提取,即更新获得各源域样本集Si分别对应的特征矩阵 以及目标域样本集T对应的特征矩阵

6.根据权利要求4所述一种基于精确特征分布匹配和多域信息融合的跨域行人重识别方法,其特征在于:所述步骤iii由多域信息融合模块执行如下步骤:步骤iii‑1.分别针对各源域样本集Si对应的特征矩阵 以及目标域样本集T对应的特征矩阵 按如下公式(3):获得各特征矩阵 分别对应的域代理节点向量 以及特征矩阵 对应的域代理节点向量 N表示特征矩阵中实例的数量, 表示特征矩阵 中第n个实例对应的向量,win表示特征矩阵 中第n个实例对应的预设可学习加权向量, 表示特征矩阵 中第n个实例对应的向量,wn表示特征矩阵 中第n个实例对应的预设可学习加权向量;

步骤iii‑2.按如下公式(4):

(0)

获得多域信息融合矩阵F ,其中∪表示按列堆叠,C表示特征矩阵每一行的长度;

步骤iii‑3.按如下公式(5),构建第一图卷积神经网络GCN1和第二图卷积神经网络(1)GCN2的邻接矩阵 A 表示第一图卷积神经网络GCN1的

(2)

邻接矩阵,A 表示第二图卷积神经网络GCN2的邻接矩阵;

(l) (l)

其中,r和c分别表示邻接矩阵A 的行索引和列索引, 表示邻接矩阵A 中第r行第c列的值;

(1)

步骤iii‑4.根据第一图卷积神经网络GCN1的邻接矩阵A ,针对多域信息融合矩阵F(0),按如下公式(6):

(1) (1) (0) 1

F =ReLU(A F W)                        (6)(0)

获得多域信息融合矩阵F 经过第一图卷积神经网络GCN1处理后的多域信息融合矩阵(1) 1F ,W表示第一图卷积神经网络GCN1对应的预设可学习加权矩阵;

(2)

步骤iii‑5.根据第二图卷积神经网络GCN2的邻接矩阵A ,针对多域信息融合矩阵F(1),按如下公式(7):

(2) 2 (1) 2

F =ReLU(AF W)                        (7)(1)

获得多域信息融合矩阵F 经过第二图卷积神经网络GCN2处理后的多域信息融合矩阵(2) 2F ,W表示第二图卷积神经网络GCN2对应的预设可学习加权矩阵;

(0) (2)

步骤iii‑6.针对多域信息融合矩阵F 与多域信息融合矩阵F 经融合模块进行融合,获得多域信息融合特征矩阵 并针对多域信息融合特征矩阵 按对应各源域样本集Si、以及目标域样本集T进行分解,获得各源域样本集Si分别对应的特征矩阵 以及目标域样本集T对应的特征矩阵

7.根据权利要求4所述一种基于精确特征分布匹配和多域信息融合的跨域行人重识别方法,其特征在于:所述步骤vi中,针对特征矩阵 各特征矩阵 各源域身份标签以及目标域样本集T所有未聚类目标域实例特征矩阵 和目标域聚类伪标签 应用多源域对比损失模块LHM,按如下公式(9),进行损失计算;

获得损失计算结果LHM,其中, fj为f中的第j个向量,

是 中的第k个特征向量, 表示 中第m个特征向量, 是 中的

+

第o个特征向量,<·,·>表示两个特征向量之间的内积,z表示与fj对应的正类原型,σ表示温度参数;

s v

n 表示 中特征向量的数量,n 表示 中特征向量的个数,

c

n表示 中特征向量的数量。

8.根据权利要求2所述一种基于精确特征分布匹配和多域信息融合的跨域行人重识别方法,其特征在于:所述步骤C中,由目标人物识别模型接收待分析人物图像,依次经特征提取器、广义均值池化模块GeM、多域信息融合模块、目标域特定归一化层DSBN_T、目标混合记忆存储器HM_T进行处理,获得待分析人物图像所对应目标域聚类伪标签,即获得待分析人物图像关于目标人物的身份标签识别结果。