1.一种基于跨模态知识蒸馏的物联网异构设备联邦学习方法,其特征在于:所述方法包括客户端和服务器端;客户端部署教师模型和学生模型,学生模型在本地私有数据约束下完成高质量特征建模,教师模型用于参数上传与服务器端的全局聚合,客户端以批大小为B的方式进行本地训练,目标为完成K类分类任务;服务器端对客户端上传的学生模型参数进行统一聚合,最终获得全局模型;所述方法包括如下步骤:步骤1:客户端分别基于各自的本地数据集进行模型预训练,获得对应的本地教师模型及模型参数;同时,在每个客户端初始化一个学生模型,其模型参数记为;
步骤2:将本地数据集输入至学生模型,对输入图像样本进行预测,并引入对数偏置调整机制,获得分类预测损失项;
步骤3:利用本地数据集,将本地教师模型的知识蒸馏至学生模型,基于学生模型和教师模型的对数概率分布获得知识蒸馏损失项;
步骤4:对于输入的一批图像样本,首先通过视觉–语言模型生成对应的文本描述信息;将图像样本输入至学生模型,通过文本适配器将其图像特征映射至文本语义空间,得到对应的图像语义特征;计算归一化后的图像特征与文本特征之间的相似度矩阵,进而获得文本语义约束损失项;
步骤5:对分类预测损失项、知识蒸馏损失项和文本语义约束损失项进行加权融合,构建联合优化目标函数;
步骤6:重复步骤2到步骤5,直至优化步数达到预先设定;
步骤7:客户端完成本地训练后,将更新后的学生模型参数上传至服务器端,服务器基于各客户端数据规模对模型参数进行加权聚合,得到全局模型及其参数。
2.根据权利要求1所述的一种基于跨模态知识蒸馏的物联网异构设备联邦学习方法,其特征在于:步骤2中,分类预测损失项定义为:其中,表示第类样本在数据集中的出现频率,表示模型对第类的预测对数偏置logit值,为求和哑变量。
3.根据权利要求1所述的一种基于跨模态知识蒸馏的物联网异构设备联邦学习方法,其特征在于:步骤3中,分别计算教师模型和学生模型对输入样本的输出值与;
学生模型的对数概率分布定义为:
教师模型的概率分布定义为:
通过KL散度计算教师模型向学生模型的知识蒸馏损失:
其中,为蒸馏温度系数,用于调节概率分布的平滑程度。
4.根据权利要求1所述的一种基于跨模态知识蒸馏的物联网异构设备联邦学习方法,其特征在于:步骤4中,利用视觉-语言模型将输入图像生成文本信息,其中,V为视觉-语言模型映射函数;再利用预训练的CLIP文本编码器将所述文本信息映射为文本特征:其中,G为CLIP文本编码器映射函数;
将图像样本输入至学生模型,通过文本适配器将其图像特征映射至文本语义空间,得到对应的图像语义特征:其中,A为文本适配器的映射函数;
计算归一化后的图像特征与文本特征之间的相似度矩阵:
其中,表示第i个归一化处理后的图像特征向量的转置与第j个经归一化处理后的文本特征向量之间的内积,用于表征对应图像特征与文本特征之间的相似度;
基于上述相似度矩阵,定义文本语义约束损失项为:
其中,为温度系数,用于控制对比学习分布的平滑程度。
5.根据权利要求1所述的一种基于跨模态知识蒸馏的物联网异构设备联邦学习方法,其特征在于:步骤5中,通过超参数、和对上述三种损失函数进行加权融合,构建联合优化目标函数:基于联合损失函数对学生模型参数进行更新,直至模型收敛,其更新公式为:其中,为优化步数,为学习率。
6.根据权利要求1所述的一种基于跨模态知识蒸馏的物联网异构设备联邦学习方法,其特征在于:步骤6中,全局模型参数为:其中,表示第个客户端的本地数据量,表示所有客户端数据量之和。