1.一种基于指纹和指静脉的多模态识别方法,其特征在于:所述方法包括如下步骤:步骤1:获取指纹、指静脉图像数据;通过采集设备,记录被采集人的指纹、指静脉图像数据;
步骤2:将步骤1获得的所有数据,提取相对应的感兴趣区域ROI;
步骤3:构建网络模型,进行特征提取、融合与分类,使用步骤2获取的采集数据对模型进行训练,获得最佳的模型参数;网络模型主要包含两个分支网络和一个多特征融合模块;
步骤3.1:构建分支网络;第一分支网络用于提取指纹特征,包含多个卷积、池化、归一化、激活函数层;将步骤2提取的指纹ROI图像输入到网络中提取特征;第二分支网络用于提取指静脉特征,包含多个卷积、池化、归一化、激活函数层;将步骤2提取的指静脉ROI图像输入到网络中提取特征;
第一分支网络包含5个卷积层,其中第一个卷积层包含1个7×7的卷积层、1个归一化层、1个激活函数层、1个3×3的最大池化层,其余四个卷积层均包含1个3×3的卷积层、1个归一化层、1个激活函数层、1个3×3的最大池化层;
第二分支网络用于提取指静脉对应的特征信息矩阵,包含5个卷积层和1个自适应池化层,其中第一个卷积层包含1个7×7的卷积、1个归一化、1个激活函数、1个3×3的最大池化,其余四个卷积层均包含1个3×3的卷积、1个归一化、1个激活函数、1个3×3的最大池化;
步骤3.2:构建多特征融合模块;该模块接受两个分支网络的输出,将其作为输入,再使用通道、空间注意力机制融合不同模态的特征并输出;
多特征融合模块包含通道注意力模块、空间注意力模块和两个sigmoid层,其中通道注意力模块包含2个1×1的卷积层、1个激活函数层、1个自适应池化层,空间注意力模块包含2个7×7的卷积层、2个归一化层、1个激活函数层、1个sigmoid层;
多特征融合模块中,首先将两个分支网络模块的输出作为输入,经过初始特征聚合IFI,获得矩阵F其中F
将F
将F
经上述步骤后,根据式(2)计算出指纹、指静脉特征融合后的输出结果Output:其中,
步骤3.3:使用采集到的指纹、指静脉图像数据对上述网络模型进行训练,获得最佳的模型参数;
步骤4:应用模型;向网络模型输入所需识别的指纹、指静脉图像,模型输出相应的识别结果。
2.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法,其特征在于:步骤1中,使用的采集设备为高清摄像头。
3.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法,其特征在于:步骤3.1中,两个分支网络的输出的维度均为512×3×6,分别表示的是经CNN网络提取后的指纹、指静脉特征信息矩阵。
4.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法,其特征在于:步骤3.3中,使用Adam优化器计算每个参数的自适应学习率,再通过测试集判定网络模型的识别性能,确定最优参数,保存最终训练所得的最优网络模型。
5.根据权利要求1所述的一种基于指纹和指静脉的多模态识别方法,其特征在于:步骤4中,网络模型依次包括两个分支网络、多特征融合模块、全连接层和Softmax分类器。