1.一种基于特征挖掘与自适应遮挡模型的交互手势识别方法,其特征在于,包括:获取交互手势视频图像序列并进行基础特征提取,以获取初始特征,所述基础特征提取基于ResNet网络;
将所述初始特征输入自适应遮挡识别模块,以获取自适应遮挡增强特征,所述自适应遮挡识别模块基于交叉注意力机制;
所述将所述初始特征输入自适应遮挡识别模块,以获取自适应遮挡增强特征的步骤,具体包括:将初始特征输入自适应遮挡识别模块,自适应遮挡识别模块根据所述初始特征获取预测掩码,所述获取预测掩码的具体算法如下:,
其中,表示预测掩码,表示sigmoid函数,表示基础卷积块,所述基础卷积块包括卷积层、BatchNorm层和ReLU层,表示初始特征;
将所述预测掩码和初始特征进行逐元素相乘处理,以获取手部特征和物体特征,所述手部特征用于手部姿态估计,所述物体特征用于辅助挖掘手部特征,所述逐元素相乘处理的具体算法如下:,
其中,表示逐元素相乘处理获取的特征,;
根据交叉注意力机制对所述手部特征和物体特征进行关键特征增强,分别提取手部特征和物体特征的查询特征、键特征和值特征,手部特征和物体特征的查询特征和键特征的转置进行交叉矩阵相乘,再进行归一化处理和卷积处理,以分别获取手部关键增强特征和物体关键增强特征,所述关键特征增强的具体算法如下:,
,
,
其中,、、分别表示查询特征、键特征和值特征,表示卷积操作,表示Softmax归一化,和分别表示手部特征的查询特征和键特征,和分别表示物体特征的查询特征和键特征,表示转置,和分别表示手部关键增强特征和物体关键增强特征;
将所述自适应遮挡增强特征输入深度特征挖掘模块,以获取手部姿势结果和动作类型结果,所述深度特征挖掘模块包括阈值过滤子模块、姿势transformer子模块、动作transformer子模块,所述阈值过滤子模块基于动态阈值对冗余背景信息进行过滤,所述姿势transformer子模块和动作transformer子模块构建时空关联模型分别对手部姿态特征和交互动作特征进行编码。
2.根据权利要求1所述的基于特征挖掘与自适应遮挡模型的交互手势识别方法,其特征在于,所述根据交叉注意力机制对所述手部特征和物体特征进行关键特征增强的步骤,之后还包括:将手部关键增强特征和物体关键增强特征进行逐元素相乘,以获取融合关键增强特征,再将所述融合关键增强特征和手部特征的值特征进行矩阵相乘并通过全连接层处理得到融合关键增强特征矩阵,将所述融合关键增强特征矩阵与手部特征进行残差连接,以获取自适应遮挡识别模块输出特征矩阵,所述获取自适应遮挡识别模块输出特征矩阵的具体算法如下:,
其中,表示自适应遮挡识别模块输出特征矩阵,表示全连接层,和分别表示手部关键增强特征和物体关键增强特征,表示手部特征的值特征,表示手部特征,代表逐元素相乘,代表矩阵相乘,代表残差连接。
3.根据权利要求1所述的基于特征挖掘与自适应遮挡模型的交互手势识别方法,其特征在于,所述阈值过滤子模块具体包括:将初始特征和自适应遮挡识别模块输出特征矩阵输入阈值过滤子模块,对所述初始特征和自适应遮挡识别模块输出特征矩阵进行特征维度调整,所述特征维度调整用于升高特征维度,根据预设过滤阈值对所述初始特征进行特征过滤处理,所述特征过滤处理用于过滤冗余背景特征,将过滤后的初始特征和自适应遮挡识别模块输出特征矩阵进行拼接,以获取阈值过滤融合特征,所述获取阈值过滤融合特征的具体算法如下:,
其中,表示阈值过滤融合特征,表示对矩阵求平均值,表示特征过滤处理,表示特征维度升高,表示初始特征,表示比例系数,表示矩阵拼接,表示自适应遮挡识别模块输出特征矩阵。
4.根据权利要求1所述的基于特征挖掘与自适应遮挡模型的交互手势识别方法,其特征在于,所述将所述自适应遮挡增强特征输入深度特征挖掘模块,以获取手部姿势结果和动作类型结果的步骤,具体包括:姿势transformer子模块对阈值过滤融合特征进行位置编码,以获取姿态Token,所述姿态Token与交互手势视频图像序列数量一一对应,将所述姿态Token进行再加工,以获取手物Token,根据所述姿态Token和手物Token进行组合,以获取动作Token;
根据多层感知机获取手部关节点的二维图像信息和一个维度的深度信息,将所述二维图像信息和一个维度的深度信息进行组合,以获取手部姿势结果,所述获取手部姿势结果的具体算法如下:,
其中,表示手部姿势结果,表示多层感知机,表示Transformer编码,表示位置编码,表示阈值过滤融合特征;
再根据动作transformer子模块、多层感知机和Softmax归一化处理,获取动作类型结果。
5.根据权利要求4所述的基于特征挖掘与自适应遮挡模型的交互手势识别方法,其特征在于,所述姿势transformer子模块和动作transformer子模块还包括:姿势transformer子模块和动作transformer子模块的内部结构相同,所述姿势transformer子模块和动作transformer子模块均包括掩码多头注意力层、多头注意力层和前馈网络层,所述掩码多头注意力层、多头注意力层和前馈网络层之后均连接一个Add&Norm层,所述Add&Norm层为残差连接和层归一化。
6.根据权利要求1所述的基于特征挖掘与自适应遮挡模型的交互手势识别方法,其特征在于,所述将所述自适应遮挡增强特征输入深度特征挖掘模块,以获取手部姿势结果和动作类型结果的步骤,之后还包括:进行监督学习,所述监督学习基于手部损失函数、物体损失函数和动作损失函数,所述监督学习的总损失函数具体如下:,
,
,
其中,表示监督学习的总损失,和分别表示手部损失和物体损失,表示动作的类别数量,表示动作的类别序数,表示动作类型结果,表示真实的动作类别标签,表示输入帧的数量,表示输入帧的序数,和表示比例系数,表示手部关节数量,表示手部关节序数,表示手部姿势结果,表示每个手部关节的真实标签,表示物体类别数量,表示物体的真实标签,表示物体的预测标签。
7.一种基于特征挖掘与自适应遮挡模型的交互手势识别系统,其特征在于,包括:初始特征提取模块,用于获取交互手势视频图像序列并进行基础特征提取,以获取初始特征,所述基础特征提取基于ResNet网络;
自适应遮挡识别模块,用于将所述初始特征输入自适应遮挡识别模块,以获取自适应遮挡增强特征,所述自适应遮挡识别模块基于交叉注意力机制;
所述将所述初始特征输入自适应遮挡识别模块,以获取自适应遮挡增强特征的步骤,具体包括:将初始特征输入自适应遮挡识别模块,自适应遮挡识别模块根据所述初始特征获取预测掩码,所述获取预测掩码的具体算法如下:,
其中,表示预测掩码,表示sigmoid函数,表示基础卷积块,所述基础卷积块包括卷积层、BatchNorm层和ReLU层,表示初始特征;
将所述预测掩码和初始特征进行逐元素相乘处理,以获取手部特征和物体特征,所述手部特征用于手部姿态估计,所述物体特征用于辅助挖掘手部特征,所述逐元素相乘处理的具体算法如下:,
其中,表示逐元素相乘处理获取的特征,;
根据交叉注意力机制对所述手部特征和物体特征进行关键特征增强,分别提取手部特征和物体特征的查询特征、键特征和值特征,手部特征和物体特征的查询特征和键特征的转置进行交叉矩阵相乘,再进行归一化处理和卷积处理,以分别获取手部关键增强特征和物体关键增强特征,所述关键特征增强的具体算法如下:,
,
,
其中,、、分别表示查询特征、键特征和值特征,表示卷积操作,表示Softmax归一化,和分别表示手部特征的查询特征和键特征,和分别表示物体特征的查询特征和键特征,表示转置,和分别表示手部关键增强特征和物体关键增强特征;
深度特征挖掘模块,用于将所述自适应遮挡增强特征输入深度特征挖掘模块,以获取手部姿势结果和动作类型结果,所述深度特征挖掘模块包括阈值过滤子模块、姿势transformer子模块、动作transformer子模块,所述阈值过滤子模块基于动态阈值对冗余背景信息进行过滤,所述姿势transformer子模块和动作transformer子模块构建时空关联模型分别对手部姿态特征和交互动作特征进行编码。
8.一种存储介质,其特征在于,所述存储介质存储一个或多个程序,该程序被处理器执行时实现如权利要求1-6任一项所述的基于特征挖掘与自适应遮挡模型的交互手势识别方法。
9.一种计算机设备,其特征在于,所述计算机设备包括存储器和处理器,其中:所述存储器用于存放计算机程序;
所述处理器用于执行所述存储器上所存放的计算机程序时,实现权利要求1-6任一项所述的基于特征挖掘与自适应遮挡模型的交互手势识别方法。