1.一种基于零知识机器学习的多模态情绪识别方法,其特征在于,包括下列步骤:步骤一、数据采集及预处理:本地设备采集用户的人脸图像、语音信号和姿态数据;
步骤二、特征提取:使用注意力机制对图像进行特征提取,从语音信号中提取MFCC特征,并从姿态数据中提取运动特征,所有这些多模态特征被融合成一个综合特征向量;
步骤三、零知识证明:本地设备生成零知识证明以验证特征数据的真实性,并使用同态加密算法对综合特征向量进行加密,加密后的特征向量和零知识证明通过安全信道传输到远程服务器;其中零知识证明生成包括:(1)首先,在本地设备上初始化零知识证明系统,使用零知识证明系统zk-SNARKs生成系统的公钥PK和私钥SK;
(2)使用公钥PK和综合特征向量生成零知识证明𝜋;
(3)使用同态加密技术对证明𝜋和综合特征向量进行加密,生成加密后的证明和加密后的特征数据;
将加密后的证明及加密后的特征数据传输到服务器进行验证;
(4)服务器接收到加密的证明和加密的特征数据后,首先对证明进行解密,得到证明𝜋,随后服务器使用𝜋来验证加密的特征数据的真实性和完整性,而不需要对进行解密,根据验证结果,服务器决定是否接受传输的数据,并在数据加密状态下进行后续处理;
步骤四、服务器端加密计算:服务器在接收到加密特征向量和零知识证明后,首先验证数据的真实性,然后在加密域内使用卷积神经网络CNN进行模型训练;
步骤五、情绪识别推理与结果处理:训练完成后,服务器将加密的推理结果通过安全信道传回本地设备,本地设备对接收到的加密结果进行解密,得到情绪识别的最终结果,并将解密后的预测值解码为相应的情绪标签展示给用户。
2.根据权利要求1所述的一种基于零知识机器学习的多模态情绪识别方法,其特征在于,所述步骤一包括:(1)多模态情绪数据采集:
通过本地设备的人像摄像头拍摄用户的人像照片,获取用户的面部特征数据;使用深度摄像头捕捉用户的姿态数据;通过麦克风设备收集用户的语音信息,这些数据将用于分析用户的情绪状态,其中情绪可以被标记为高兴、愤怒、悲伤、恐惧、惊讶、厌恶和平静这七种基本情绪;
(2)数据预处理:
1)使用人脸检测算法MTCNN,在人像图像中检测出人脸区域,得到的人脸的边界框,包括左上角坐标 (x, y) 和宽度、高度 (w, h),根据检测到的边界框裁剪出人脸区域图像;
;
将RGB图像转换为灰度图像,以减少计算量,并且灰度图像直接地反映亮度变化,对情绪识别更有帮助,转换公式为:;
其中,、和分别表示图像的红色、绿色和蓝色通道的像素值矩阵;
将像素值归一化到[0, 1]范围内,消除亮度差异的影响,同时,归一化数据可以加快梯度下降算法的收敛速度,提高训练效率,归一化公式:;
2)使用姿态估计算法OpenPose检测人体关键点,得到每个关键点的3D坐标(,,);
为了消除不同用户个体之间的差异,对关键点坐标进行归一化处理:;
;
;
归一化处理中的max和min是所有关键点坐标中的最大值和最小值,分别表示用户姿态在每个坐标轴上的最大和最小范围,通过这些值,将所有关键点的坐标缩放到的范围内,从而消除不同用户体型带来的影响,使得姿态数据在相同尺度上进行比较和处理;
经过归一化处理的关键点坐标构成了一个数据矩阵;
3)对采集到的语音信号进行预加重处理,以提高高频部分的能量,补偿发声过程中的高频损失,随后将加重后的语音信号分成多个短时帧进行加窗处理,然后,对加窗后的帧信号进行快速傅里叶变换FFT,将时间域信号转换为频域信号;
;
其中,是频域信号的频谱,是加窗后的帧信号,是时间索引,是频率索引,是帧信号的长度,通过傅里叶变换,获得信号在不同频率上的能量分布,有助于提取信号中的频率特征,用于后续的语音处理任务。
3.根据权利要求1所述的一种基于零知识机器学习的多模态情绪识别方法,其特征在于,所述步骤二包括:(1)使用注意力机制结合简化的卷积神经网络CNN提取人脸图像的关键特征;
输入图像是标准化后的灰度图像,将其通过一个使用3x3卷积核,32个滤波器,ReLU激活函数的卷积层,随后对其使用2x2最大池化层,得到池化后的特征图 ;
随后使用空间注意力和通道注意力机制对特征图进行加权,使模型更专注于图像中最重要的部分和特征;
对通过1x1卷积和softmax函数计算空间注意力图:;
对的每个通道进行全局平均池化后,通过全连接层计算通道注意力权重:;
其中,为Sigmoid激活函数,为全连接层权重,GAP为全局平均池化;
得到注意力加权特征图:
;
将加权后的特征图展平,形成一维特征向量;
(2)从语音信号中提取出反映情绪状态的MFCC特征;
将步骤一中得到的频谱通过一组梅尔滤波器,得到梅尔频率能量谱,对梅尔频率能量谱取对数,然后进行离散余弦变换(DCT),得到MFCC特征:;
其中,log表示取对数运算,表示离散余弦变换;
将得到的MFCC特征进行展平,得到一维特征向量;
(3)使用自注意力机制对姿态数据进行特征提取,使模型能够关注姿态数据中的重要特征和关键点;
输入步骤一中经过归一化的姿态数据矩阵,计算姿态数据的查询矩阵Q,键矩阵K和值矩阵V:;
其中,、和是权重矩阵,随后计算注意力权重:;
其中,为键向量的维度,softmax函数的定义如下:;
随后计算注意力输出:
;
将注意力输出结果展平,得到一维特征向量;
(4)将提取到的人脸特征向量,姿态特征向量和语音特征向量进行拼接,形成综合特征向量:。
4.根据权利要求1所述的一种基于零知识机器学习的多模态情绪识别方法,其特征在于,所述步骤四中服务器端加密计算包括:(1)设计适用于同态加密的卷积神经网络CNN架构:卷积层1:1x3卷积核,64个滤波器,ReLU激活函数近似为分段线性函数;
平均池化层1:1x2池化核;
卷积层2:1x3卷积核,128个滤波器,ReLU激活函数近似为分段线性函数;
平均池化层2:1x2池化核;
卷积层3:1x3卷积核,256个滤波器,ReLU激活函数近似为分段线性函数;
平均池化层3:1x2池化核;
全连接层:输入维度为卷积输出展平后的长度,输出维度为情绪类别数量;
(2)选取真实环境下采集的多模态数据作为情绪数据集,按照8:1:1的比例将数据集分割为训练集,测试集和验证集,对多模态网络进行训练,选取并保存训练效果最好的权值文件,该权值文件包含了训练过程中学习到的模型参数,并将在推理阶段用于生成预测结果,最后将CNN架构和权值文件保存到服务器端中;
(3)前向传播算法
1)、输入加密特征向量,是前向传播的输入;
2)、卷积层1:
加密卷积计算:将加密特征向量通过卷积层1进行卷积操作:;
其中,是卷积层1的加密卷积核,表示卷积操作,是卷积后的加密特征图;
加密激活函数计算:对加密特征图应用分段线性函数来近似ReLU激活操作;
;
其中,是ReLU的分段线性近似函数,是激活后的加密输出;
3)、平均池化层1:
对激活后的加密特征图进行一维平均池化操作,以减少特征图的维度;
;
其中,是池化后的加密特征图,池化窗口的大小取2;
4)、重复卷积、激活和池化操作:对经过卷积层2和平均池化层2:
;
;
;
随后将经过卷积层3和平均池化层3:;
;
;
得到最终的加密特征图;
5)、全连接层:
对池化后的加密特征图进行展平,得到一个加密的长向量,然后通过全连接层计算得到加密的输出向量:;
其中,是训练模型得到的全连接层的加密权重矩阵,是全连接层的加密输出向量。
5.根据权利要求1所述的一种基于零知识机器学习的多模态情绪识别方法,其特征在于,所述步骤五中:服务器将加密的情绪识别结果通过安全信道传输回本地设备,随后使用本地设备的私钥SK对加密结果进行解密,得到明文向量;
随后在解密后的明文向量上应用Softmax函数,将其转换为概率分布:;
其中,代表第个情绪类别的概率值,是明文向量的第个元素,表示对所有7个情绪类别的指数进行求和;
最终的是一个包含7个元素的概率数组,表示每个情绪类别的概率;
本地设备保存情绪标签列表:
;
找出中概率最大的情绪类别,根据找到对应的情绪标签,随后将预测的情绪标签展示给用户。