1.一种基于声学窃听的击键识别方法,其特征在于,具体包括以下步骤:
S1,获取击键数据:使用手机麦克风采集击键音频数据,获取击键过程中产生的声学信号;
S2,击键数据预处理:对S1获取的击键数据进行预加重处理,增强信号的高频分量,并使用自适应谱减法去除背景噪声,得到干净的击键信号;
S3,击键事件检测:对经过S2预处理后的击键信号进行快速傅里叶变换,计算频谱能量,将击键信号分离成单个击键片段,确保每个击键片段只包含一次击键行为;
S4,特征提取:对每个击键片段提取声谱图和梅尔谱图特征,从击键片段中提取声学特征;
S5,特征融合与注意力机制:引入多尺度通道注意力模块和迭代注意特征融合模块,对声谱图和梅尔谱图特征进行融合,通过注意力机制赋予关键特征更高的权重;
S6,将融合后的特征数据输入卷积神经网络模型进行训练,利用该模型对击键行为进行分类识别,最终得到击键识别结果。
2.根据权利要求1所述的一种基于声学窃听的击键识别方法,其特征在于,S1中的击键数据是在受控环境中使用高灵敏度设备收集的,击键数据中包含用户敲击键盘时产生的音频特征。
3.根据权利要求1所述的一种基于声学窃听的击键识别方法,其特征在于,S2中对击键数据进行预处理的具体做法为:S2.1,对S1获取的击键数据进行预加重处理,其操作可以表示为:
y[n]=x[n]-αx[n-1]
其中,x[n]表示原始信号序列,y[n]是经过预加重处理后的信号序列,参数α是预加重系数;
S2.2,将经过S2.1预加重得到的结果进行降噪,首先取击键数据前5帧的平均值进行噪声模型构建,将其频谱平均得到代表背景噪声的噪声频谱,即:其中,n表示用于计算平均值的帧数,是噪声频谱的平均值估计,用来表示在频率ω上的噪声强度,而代表的第i帧内声学信号的频域表示;
在谱减法中,假设原始信号中受到的噪声干扰是加性的,收集得到的击键数据可以看作是击键信号和噪声信号的线性叠加,从而通过估计噪声分量并将其从击键数据中减去,以恢复出更接近原始的干净信号PN,为了进一步避免谱减法出现负值信号,降噪信号为其中,PN(ω)表示经过降噪处理后的信号频谱,即干净信号的估计值,在频率ω处,它是从击键数据中去除噪声信号后的结果,Y(ω)表示原始击键数据的频谱,它包含了击键信号和噪声信号的混合频谱,αN是根据信噪比计算得到的减法因子,表示噪声频谱的平均值估计,表示降噪后的最终信号频谱值,是对干净信号频谱的估计,βN是用于确定当减噪后的信号幅度小于噪声幅度时,避免负数的调整系数,为了自适应的调整噪声估计模型,还根据计算信号的信噪比SNR来更新噪声频谱,信噪比的计算方式为:当某帧内的信噪比低于设定的经验阈值时根据噪声大小自适应的调整噪声估计频谱,噪声估计模型的更新计算过程如下:其中,表示更新后的噪声频谱估计值,GN表示一个增益因子,介于0和1之间,用于控制当前噪声估计和当前帧的观测频谱Y(ω)在噪声估计中的权重。
4.根据权利要求1所述的一种基于声学窃听的击键识别方法,其特征在于,S3的具体做法为:对经过S2预处理的击键信号做快速傅里叶变换,将时域转换为频域,查看击键信号的频域情况,计算过程如下:其中,为旋转因子,其计算公式为击键信号是x(n),n=0,1,…,N-1;
查看击键信号频率的独特特征,并计算击键信号的频谱能量,用Ek表示,使用经验阈值进行判断是否进入击键过程,当两个声道其中任意一个通道的Ek超过了经验阈值,就认为进入了击键过程,并将这个时间点作为击键片段的起点,接下来的经验阈值长度的信号作为单独的击键片段,经过按键分离算法,得到了多个击键片段,每个击键片段只包含一次击键行为。
5.根据权利要求1所述的一种基于声学窃听的击键识别方法,其特征在于,S4的具体做法为:声谱图特征提取,将击键片段用matlab内置spectrogram函数计算音频信号的短时傅里叶变换,从而生成声谱图;
梅尔谱图特征提取,将击键片段分成若干帧,帧长L和帧移S的对应样本数分别为:N=L×fs,H=S×fs
其中,fs为信号采样率;
分帧完成之后,每一帧加一个汉宁窗函数,然后对分帧、加窗后的每一帧进行快速傅里叶变换,将FFT变换结果取其magnitude,并进行平方再除以对应的FFT点数得到功率谱,然后就是将功率谱经梅尔滤波器组,转换为梅尔频率尺度,其对应的频率在梅尔频率尺度上是线性的,最后一步就是对梅尔频谱图的每个元素对数变换,得到梅尔谱图。
6.根据权利要求1所述的一种基于声学窃听的击键识别方法,其特征在于,S5的具体做法为:多尺度通道注意力模块MS-CAM,输入特征X的尺寸为C×H×W,经过全局平均池化将其压缩为C×1×1的张量,从而提取每个通道的全局统计信息;接下来,经过一个点卷积对通道进行压缩,得到维度为的特征,并经过批归一化和ReLU激活函数来增加非线性,然后,通过第二个点卷积将特征的维度恢复回C×1×1,并再经过批归一化处理;
恢复后的特征与输入特征相融合,通过加法操作再应用Sigmoid激活函数,生成了通道注意力权重,其尺寸为C×H×W;最后,输入特征X与生成的通道注意力权重相乘,得到输出特征X′;右边两个分支分别表示全局特征的通道注意力和局部特征的通道注意力,局部特征的通道注意力计算公L(X)如下:L(X)=B(PWConv2(δ(B(PWConv1(X)))))
其中,PWConv代表点卷积操作,B表示批归一化,δ代表ReLU激活函数;这一模块通过结合全局统计信息和点卷积调整,能够生成特定通道的注意力权重;
将多尺度通道注意力模块MS-CAM应用于击键识别的特征融合中,具体做法为:首先,通过调整多尺度池化和卷积结构,突出击键声音在各频率范围内的特征差异;
其次,增加了对击键信号中全局时序特征和局部细节特征的融合,确保卷积神经网络模型既能关注击键片段的整体时序特征,又能捕捉击键片段中的局部变化细节特征;引入了自适应初始特征融合策略,使初始融合结果更贴合音频数据的特性;此外,采用迭代注意力机制iAFF,iAFF通过使用MS-CAM模块进行特征增强和融合,经过多次迭代细化击键片段信号的特征融合。
7.根据权利要求1所述的一种基于声学窃听的击键识别方法,其特征在于,S6的具体做法为:采用卷积神经网络CNN进行深度学习模型训练,CNN由两层卷积层和一层全连接层组成,每层卷积层后接ReLU激活函数;同时,通过池化层降低特征图的尺寸,以减少计算复杂度并保留关键特征,深度学习模型训练过程中,使用交叉熵损失函数对识别结果进行优化;训练完成后,深度学习模型使用Softmax函数在输出层生成识别结果,并选择概率最高的类别作为最终预测结果,以完成击键识别任务。
8.一种计算机终端,包含存储器、处理器及存储在存储器并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1-7中任意一项所述的一种基于声学窃听的击键识别方法。
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行可实现如权利要求1-7中任意一项所述的一种基于声学窃听的击键识别方法。