1.一种非接触式声纹与掌纹掌静脉的多模态身份识别方法,其特征在于,包括:步骤1,图像预处理;预处理主要包括三个步骤,首先是采用低通滤波对红外采集手掌图像进行去噪,其次是图像增强部分通过Sauvola算法提取出手掌区域的二值图形,最后是ROI定位部分先将掌纹和掌静脉进行灰度变换,使手掌边缘突出,再将Canny算子用于检测手掌边缘,最后对图像进行裁剪,得到感兴趣的手掌区域图像;
步骤2,特征提取;特征提取分为两个部分,第一部分为提取语音特征,第二部分为提取掌纹、掌静脉两个手部特征;采用ResNet作为主体结构,引入SE模块,构建出SE-ResNet网络结构,将预处理的图片输入至SE-ResNet网络结构,通过加入一个全局池化层来生成特征分布,并以此完成信息编码的提取;为了获得各通道之间的相关性,结合了ReLU激活函数和sigmoid门控制机制来完成特征的重标定;
步骤3,特征融合;采用多层特征融合机制,通过分解双线性模型进行融合获取手部和音频不同模态之间的相互作用,将成对的音频、手部特征输入融合模型,在全连接层上通过softmax输出最终结果;
步骤4,特征比对;利用改进的FAST角点检测算法初步提取的特征点利用Shi-Tomasi算法计算每点的角点响应函数,根据角点响应函数取前N个响应值最大的点确定为特征点;对于二进制特征描述向量的匹配,采用汉明距离作为描述符之间的相似性度量;
步骤5,输出交互;采用联合判别稀疏编码算法判断三个模态的模内样本特征点,使类内的距离最小,同时使类间的距离最大;根据实际场景要求,设定适合的阈值,如果两个匹配的样本属于相同的类且在声纹、掌纹和掌静脉都匹配成功,则界面显示认证成功,否则提示认证失败。
2.根据权利要求1所述的多模态身份识别方法,其特征在于:步骤2具体为:对于任意给定的信息进入网络模块后进行如式(1)所示的转换:(1)
是输入的图片,是提取的特征;
SE将全局空间信息压缩成一个通道描述符,通道描述符含了通道维度上特征响应的全局分布情况,利用全局平均池化层得到一个通道维度上的统计数据;统计值是由式(2)压缩具有空间维度的得到的:(2)
变换输出被解释为一个局部描述符的集合,通道描述符的统计信息能够表达整幅图像;
利用压缩操作得到的聚合信息,完整捕获通道维度上的依赖性;选择了一个带有sigmoid激活函数的简单的门限机制(3):(3)
式中,表示ReLU激活函数,和;
为了限制模型的复杂度和帮助模型泛化,把非线性周围的两个全连接层(FC)组成瓶颈(bottleneck)结构来参数化门限机制,块的最终输出是使用激活函数式(4)重新缩放变换输出得到的:(4)
式中,,表示特征图和标量的对应通道的乘积;s这个激活函数的作用是根据输入特征的描述符来给每个通道赋予权重。
3.根据权利要求1所述的多模态身份识别方法,其特征在于:步骤3具体如下:分解双线性模型通过线性变换考虑每个特征对:
(5)
其中 x∈Rn 和 y∈Rm 是来自手部和音频不同模态的输入特征向量,Wi是权重矩阵,bi是偏置量;
将权重矩阵Wi分解为两个低阶矩阵,即其中,其中和对维度d施加约束d≤min(n,m);公式(5)进一步改写为:(6)
捕获两种异构模式之间的固有相关性,公式(7):(7)
其中1∈Rd表示1的列向量,而◦表示Hadamard或逐元素乘积;
为了获得输出特征向量z,需要两个三阶张量:U=[U1,…,UO]∈Rn×d×o和V= [V1,…,Vo]∈Rm×d×o;用线性投影P∈Rd×o替换列向量,向量z表示为:(8)
其中 b∈Ro 是偏差矢量;
在每个线性映射之后添加非线性激活函数,向量 z进一步表示为:(9)
其中σ表示任意非线性激活函数,设x和y分别代表手部注意向量和音频特征向量,则x的值都大于0,而y在[-1,1]的范围内;
进一步添加Relu函数以规范网络的输出,最终向量z表示为:(10)
将成对的音频、手部特征输入融合模型,在全连接层上通过softmax 输出最终结果。
4.根据权利要求1所述的多模态身份识别方法,其特征在于:步骤4具体如下:采用了改进后的FAST算法,具体改进为:取一个像素点P周围24个像素点为检测模板,P点的灰度值为IP,设定阈值T,如果24个像素点中有连续14个像素点的灰度值大于IP+T或小于IP-T,则P为角点;
使用Shi-Tomasi算法进行特征点的优选,Shi-Tomasi算法取两个特征值中较小的一个同给定的最小阈值比较,若大于最小阈值,则会得到强角点;
Shi-Tomasi算法通过计算局部小窗口在各个方向移动后的灰度情况检测角点;将窗口平移产生灰度变化为(11)
式中M为2的自相关矩阵,由图像的导数计算
(12)
对于二进制特征描述向量的匹配,采用汉明距离作为描述符之间的相似性度量;设描述符的两个特征向量为,,则,的汉明距离为:(13)
通过确定汉明距离的阈值,判断特征向量是否匹配。
5.根据权利要求1所述的多模态身份识别方法,其特征在于:步骤5具体如下:联合判别稀疏编码算法具体如下:给定三种模态的特征矩阵X、Y和Z,联合学习三个投影矩阵Px、Py和Pz,将三个峰值特征映射到稀疏矩阵Vx∈Rd×N、Vy∈Rd×N和Vz∈Rd×N,能够精确地逼近原始矩阵X、Y、Z;
由三种模态得到特征表示Vx、Vy、Vz后,将其量化为; (14)
其中sgn()为元级符号函数,得到稀疏二值编码,Cx=[c1, c2,…,cN]∈Rl×N,ci表示学习到的第i类的稀疏二值编码,l= (1,2,…,12)为稀疏二值编码的长度;
利用两个投影矩阵对投影特征表示Vx和Vy施加稀疏性约束来减小投影误差,使用Frobenius范数作为代价函数,工程误差表示为(15)
其中a、b>0,a+b∈(0,1)是平衡三种不同模态的权衡参数;
对投影稀疏特征进行了两个约束:1)对于每个模态的模内样本,使类内的距离最小,同时使类间的距离最大;2)对于类内样本,使特征点之间的信息相关性最大,因此距离最小;通过约束使投影稀疏特征具有更强的分辨力和紧凑性。
6.一种非接触式声纹与掌纹掌静脉的多模态身份识别系统,用于实现权利要求1至5任一项所述的多模态身份识别方法,其特征在于,包括:供电模块、固定波长红外LED光源模块、图像采集CCD模块、语音采集模块和存储模块;
供电模块:用于对整个多模态身份识别系统供电
固定波长红外LED光源模块:通过红外LED光源照射人体手部,协助图像采集CCD模块进行人体掌纹、掌静脉信息特征的采集;
图像采集CCD模块:进行人体掌纹、掌静脉信息特征的采集;
语音采集模块:利用MFCC特征提取语音信息;
存储模块:用于存储语音采集模块和图像采集CCD模块采集的数据;
多模态身份识别模块:通过图片预处理,图片特征提取,特征融合比对,输出结果。