欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023109245569
申请人: 湖南大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种人员行为检测与身份识别方法,其特征在于,所述方法包括以下步骤:

根据人员行为热图像构建行为数据集,根据相对应的人脸红外图像和人脸可见光图像构建双光人脸数据集;

将YOLOv5网络模型的骨干网络改为PP-LCNet网络,得到改进后的YOLOv5网络模型;其中,所述PP-LCNet网络包括依次连接的CBS模块、第一深度可分离卷积模块、第二深度可分离卷积模块、第三深度可分离卷积模块、第四深度可分离卷积模块和引入注意力机制的深度可分离卷积模块;

利用所述行为数据集对改进后的YOLOv5网络模型进行训练,得到人员行为检测模型;

在InsightFace优化模型的输入层之前增加CycleGAN,得到改进后的InsightFace优化模型,利用所述双光人脸数据集对改进后的InsightFace优化模型进行训练,得到人脸识别模型;

实时采集人员整体图像,利用所述人员行为检测模型对所述人员整体图像进行检测,得到行为检测结果;利用所述人脸识别模型对所述人员整体图像进行识别,得到人脸识别结果;

对所述行为检测结果和人脸识别结果进行融合处理,得到最终的识别结果;

其中,对改进后的InsightFace优化模型进行训练的过程中,将CycleGAN的损失函数按照一定的比例加入到InsightFace优化模型的损失函数中,对CycleGAN和InsightFace优化模型进行同步训练;所述改进后的InsightFace优化模型的损失函数为:L=αL3+βLtotal

Ltotal(G,F,Dx,Dy)=LGAN(G,Dy,X,Y)+LGAN(G,Dx,Y,X)+λ1Lcyc(G,F)+λ2LIdentity(G,F)其中,L为改进后的InsightFace优化模型的损失值,α、β均为可调节比例系数,L3为InsightFace优化模型的损失值,Ltotal为CycleGAN的损失值,N为批量大小,θyi为目标角度,s为特征范数,m为附加边角距,θj为第i个样本的深度特征xi和全连接层权重Wj的夹角,yi为第i个样本的实际类别,n为样本的类别数,G为正向转换的生成器,F为反向转换的生成器,Dx为正向转换的判别器,Dy为反向转换的判别器,X为A域的输入图,Y为B域的输入图,LGAN为对抗损失,λ1为循环一致损失的调节参数,Lcyc为循环一致损失,λ2为Identity损失的调节参数,LIdentity为Identity损失。

2.根据权利要求1所述的人员行为检测与身份识别方法,其特征在于,所述行为数据集的具体构建过程包括:采用热像仪采集不同人员在不同行为时的行为热图像;

采用标注工具对所述行为热图像进行标注,由标注后的行为热图像构成行为数据集;

所述双光人脸数据集的具体构建过程包括:

以不同角度采集不同人员在不同面部表情时的人脸红外图像和人脸可见光图像,所述人脸红外图像和人脸可见光图像一一对应;

采用标注工具对所述人脸红外图像和人脸可见光图像进行标注,由标注后的人脸红外图像和人脸可见光图像构成双光人脸数据集。

3.根据权利要求1所述的人员行为检测与身份识别方法,其特征在于,所述CBS模块由卷积层、BN层和激活函数构成;

所述第一深度可分离卷积模块、第二深度可分离卷积模块和第三深度可分离卷积模块均由2个深度可分离卷积层堆叠构成;所述第四深度可分离卷积模块由5个深度可分离卷积层堆叠构成;

所述引入注意力机制的深度可分离卷积模块由2个引入注意力机制的深度可分离卷积层堆叠构成。

4.根据权利要求3所述的人员行为检测与身份识别方法,其特征在于,所述引入注意力机制的深度可分离卷积层包括深度卷积DW、逐点卷积PW以及设于所述深度卷积DW和逐点卷积PW之间的注意力机制模块,所述注意力机制模块由全局平均池化层、两个全连接层以及全连接层对应的激活函数构成。

5.根据权利要求1所述的人员行为检测与身份识别方法,其特征在于,将所述第四深度可分离卷积模块和引入注意力机制的深度可分离卷积模块中卷积核大小为5×5的深度卷积DW替换为三个并行的分支,每个分支由深度卷积DW和BN层构成,每个分支的深度卷积DW的卷积核大小分别为5×5、3×3、1×1。

6.根据权利要求1所述的人员行为检测与身份识别方法,其特征在于,将所述第一深度可分离卷积模块、第二深度可分离卷积模块、第三深度可分离卷积模块、第四深度可分离卷积模块和引入注意力机制的深度可分离卷积模块中深度可分离卷积层的ReLU激活函数替换为H-Swish激活函数。

7.根据权利要求1~6中任一项所述的人员行为检测与身份识别方法,其特征在于,对改进后的YOLOv5网络模型进行训练的过程中,损失函数的具体表达式为:其中,LEIOU为改进后的YOLOv5网络模型的损失值,IoU为预测框与真实框的交变比,ρ()为欧式距离计算函数,b为预测框的中心点,bgt为真实框的中心点,w为预测框的宽度,wgt为真实框的宽度,h为预测框的高度,hgt为真实框的高度,c为覆盖预测框和真实框的最小闭合框的对角线长度,cw为覆盖预测框和真实框的最小闭合框的宽度,ch为覆盖预测框和真实框的最小闭合框的高度。

8.一种电子设备,其特征在于,所述设备包括:

存储器,用于存储计算机程序;

处理器,用于执行所述计算机程序时实现如权利要求1~7中任一项所述的人员行为检测与身份识别方法。

9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时实现如权利要求1~7中任一项所述的人员行为检测与身份识别方法。