欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024108284058
申请人: 华侨大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于全局特征与头肩特征多核融合的行人识别方法,其特征在于,包括以下步骤:获取待识别的行人图像,所述行人图像通过鱼眼摄像机采集到;

采用经训练的行人头肩部检测模型对行人图像进行头肩部检测,得到行人头肩部图像;

构建行人识别模型,所述行人识别模型包括多核融合模块以及基于深度学习网络的全局特征提取分支和头肩特征提取分支,所述深度学习网络包括ResNet、DenseNet或ViT,将所述行人图像和行人头肩部图像分别输入全局特征提取分支和头肩特征提取分支,得到全局特征向量和头肩特征向量,所述全局特征向量和头肩特征向量输入所述多核融合模块进行融合,得到融合特征向量,所述全局特征提取分支和头肩特征提取分支均基于ViT构建而成,所述全局特征提取分支包括依次连接的分割层、展平层、嵌入层、拼接层和q个Transformer层;所述头肩特征提取分支包括依次连接的分割层、展平层、嵌入层、拼接层和m个Transformer层;

将所述行人图像和行人头肩部图像分别输入分割层和展平层,得到行人图像序列块和行人头肩部图像序列块,如下式所示:其中,x表示行人图像,h表示从行人图像x中提取得到的人头肩部图像,Split表示所述分割层对应的分割操作,Flatten表示所述展平层对应的空间展平操作,P表示每个行人图像序列块和行人头肩部图像序列块的高度和宽度,N将所述行人图像序列块和行人头肩部图像序列块分别与行人类别标签进行拼接并输入所述嵌入层,映射得到对应的一维序列令牌,再分别经过q个Transformer层和m个Transformer层,提取得到全局特征向量和头肩特征向量,如下式所示:其中,Transformer

所述多核融合模块包括维度扩展层、拼接层、多个卷积层和维度压缩层,每个卷积层卷积核为θ分别将所述全局特征向量和头肩特征向量输入所述维度扩展层进行维度扩展,得到维度扩展后的全局特征张量与维度扩展后的头肩特征张量,如下式所示:其中,Unsqueeze表示所述维度扩展层对应的维度扩展操作,将所处理的特征向量扩展为c×d×w维数的张量,其中c表示张量的通道数量,d表示张量的高度,w表示张量的宽度,≡表示恒等于;g将所述维度扩展后的全局特征张量和维度扩展后的头肩特征张量进行拼接,得到拼接特征张量,如下式所示:其中,CCat表示拼接层对应的按通道拼接操作,u表示拼接特征张量,其维度为2×d×1;

利用多个卷积层对所述拼接特征张量进行多核融合,得到全局与头肩多核融合特征张量,如下式所示:其中,v

将所述全局与头肩多核融合特征张量输入所述维度压缩层,得到融合特征向量,如下式所示:其中,Squeeze表示所述维度压缩层对应的维度压缩操作,f将所述待识别的行人图像及其对应的行人头肩部图像输入经训练的行人识别模型,得到所述待识别的行人图像对应的融合特征向量,基于所述待识别的行人图像对应的融合特征向量进行行人识别,得到识别结果。

2.根据权利要求1所述的基于全局特征与头肩特征多核融合的行人识别方法,其特征在于,所述经训练的行人头肩部检测模型包括SSD网络、YOLO网络或Faster R-CNN网络,具体过程如下:h=HDNet(x);

其中,x表示行人图像,HDNet表示经训练的行人头肩部检测模型所对应的函数,h表示从行人图像x中提取得到的人头肩部图像。

3.根据权利要求1所述的基于全局特征与头肩特征多核融合的行人识别方法,其特征在于,所述损失函数的表达式为:Loss

=Loss

其中,f

其中,n表示行人图像的数量,t表示行人类别数量,

采用梯度下降法优化所述损失函数,得到经训练的行人识别模型。

4.根据权利要求1所述的基于全局特征与头肩特征多核融合的行人识别方法,其特征在于,所述基于所述待识别的行人图像对应的融合特征向量进行行人识别,得到识别结果,具体包括:将所述待识别的行人图像对应的融合特征向量和身份已知的行人图像通过经训练的行人识别模型得到的融合特征向量进行相似度比对,得到比对结果,根据比对结果确定所述待识别的行人图像与身份已知的行人图像是否属于同一人。

5.一种基于全局特征与头肩特征多核融合的行人识别装置,其特征在于,包括:图像获取模块,被配置为获取待识别的行人图像,所述行人图像通过鱼眼摄像机采集到;

区域检测模块,被配置为采用经训练的行人头肩部检测模型对行人图像进行头肩部检测,得到行人头肩部图像;

模型训练模块,被配置为构建行人识别模型,所述行人识别模型包括多核融合模块以及基于深度学习网络的全局特征提取分支和头肩特征提取分支,所述深度学习网络包括ResNet、DenseNet或ViT,将所述行人图像和行人头肩部图像分别输入全局特征提取分支和头肩特征提取分支,得到全局特征向量和头肩特征向量,所述全局特征向量和头肩特征向量输入所述多核融合模块进行融合,得到融合特征向量,所述全局特征提取分支和头肩特征提取分支均基于ViT构建而成,所述全局特征提取分支包括依次连接的分割层、展平层、嵌入层、拼接层和q个Transformer层;所述头肩特征提取分支包括依次连接的分割层、展平层、嵌入层、拼接层和m个Transformer层;

将所述行人图像和行人头肩部图像分别输入分割层和展平层,得到行人图像序列块和行人头肩部图像序列块,如下式所示:其中,x表示行人图像,h表示从行人图像x中提取得到的人头肩部图像,Split表示所述分割层对应的分割操作,Flatten表示所述展平层对应的空间展平操作,P表示每个行人图像序列块和行人头肩部图像序列块的高度和宽度,N将所述行人图像序列块和行人头肩部图像序列块分别与行人类别标签进行拼接并输入所述嵌入层,映射得到对应的一维序列令牌,再分别经过q个Transformer层和m个Transformer层,提取得到全局特征向量和头肩特征向量,如下式所示:其中,Transformer

所述多核融合模块包括维度扩展层、拼接层、多个卷积层和维度压缩层,每个卷积层卷积核为θ分别将所述全局特征向量和头肩特征向量输入所述维度扩展层进行维度扩展,得到维度扩展后的全局特征张量与维度扩展后的头肩特征张量,如下式所示:其中,Unsqueeze表示所述维度扩展层对应的维度扩展操作,将所处理的特征向量扩展为c×d×w维数的张量,其中c表示张量的通道数量,d表示张量的高度,w表示张量的宽度,≡表示恒等于;g将所述维度扩展后的全局特征张量和维度扩展后的头肩特征张量进行拼接,得到拼接特征张量,如下式所示:其中,CCat表示拼接层对应的按通道拼接操作,u表示拼接特征张量,其维度为2×d×1;

利用多个卷积层对所述拼接特征张量进行多核融合,得到全局与头肩多核融合特征张量,如下式所示:其中,v

将所述全局与头肩多核融合特征张量输入所述维度压缩层,得到融合特征向量,如下式所示:其中,Squeeze表示所述维度压缩层对应的维度压缩操作,f行人识别模块,被配置为将所述待识别的行人图像及其对应的行人头肩部图像输入经训练的行人识别模型,得到所述待识别的行人图像对应的融合特征向量,基于所述待识别的行人图像对应的融合特征向量进行行人识别,得到识别结果。

6.一种电子设备,包括:

一个或多个处理器;

存储装置,用于存储一个或多个程序,

当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-4中任一所述的方法。

7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-4中任一所述的方法。

8.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-4中任一所述的方法。