1.一种面向隐私保护的个性化联邦推荐方法,通过将来自中央服务器的全局物品嵌入矩阵与客户端训练得来的物品偏好嵌入向量进行融合,实现物品嵌入矩阵的个性化,其特征在于,所述方法包括如下步骤:S1.中央服务器维护一个全局的物品存在表,用于记录推荐系统内物品的种类个数;中央服务器初始化模型权重和全局的物品嵌入矩阵,分发给各个参与联邦训练的客户端;
S2.各个客户端从中央服务器获取初始化的模型权重和全局的物品嵌入矩阵,对全局物品嵌入正交映射矩阵、物品偏好嵌入向量、用于生成物品嵌入混合因子矩阵的双层感知机和用户推荐预测单层感知机的权重进行初始化;
S3.各个客户端根据与物品的历史交互情况,将全体交互过的物品作为正样本,并从未交互过的物品中随机采样,作为负样本,将正样本和负样本按照一定比例进行混合得到训练集;最新交互的两个正样本单独留出,分别与一定比例的负样本进行混合得到测试集和验证集;
S4.各个客户端并行的使用本地训练集数据进行推荐模型训练:
S401.各个客户端根据训练集包含的物品类别,从全局物品嵌入矩阵选取相应物品的全局嵌入向量,拼接成符合该客户端训练集物品种类的全局物品嵌入矩阵,将其通过全局物品嵌入正交映射矩阵进行正交变换,得到迁移物品嵌入矩阵;首先学习一个全局物品嵌入矩阵到客户端个性化观点的映射关系,以实现全局物品嵌入矩阵的初步个性化;采用一个权重为正交矩阵且偏置项为0的单层感知机对全局物品嵌入矩阵进行正交变换,为其引入针对当前客户端的个性化;各客户端根据训练集包含的物品类别,从全局物品嵌入矩阵选取相应物品的全局物品嵌入向量iglobal,拼接符合该客户端训练集物品种类的全局物品嵌入矩阵将使用全局物品嵌入正交映射矩阵进行正交映射,得到迁移物品嵌入矩阵如下式所示:S402.进一步对迁移物品嵌入矩阵进行本地个性化;将客户端个人物品偏好嵌入向量广播至与同一维度,得到物品偏好嵌入矩阵将迁移物品嵌入矩阵和物品偏好嵌入矩阵相减、并求绝对值,得到物品-偏好嵌入矩阵差的绝对值矩阵Δ0,u,如下式所示:其中,Δ0,u的每个元素代表着和在相应位置元素的相似性;
S403.将物品-偏好嵌入矩阵差的绝对值矩阵Δ0,u输入一个两层感知机训练学习全局物品嵌入矩阵与用户的物品偏好嵌入矩阵融合的混合比例,激活函数分别采用ReLU和Sigmoid函数,生成物品嵌入混合因子矩阵如下式所示:S404.将物品嵌入混合因子矩阵和分别作为全局物品嵌入矩阵和用户的物品偏好嵌入矩阵的权重,求得加权平均值,作为混合物品嵌入矩阵如下式所示:S405.将混合物品嵌入矩阵输入用户推荐预测单层感知机,得到该客户端对各个物品的预测分值;计算损失值,采用小批量随机梯度下降更新模型参数;各个客户端并行的训练本地推荐系统模型;从混合物品嵌入矩阵获取物品i的混合物品嵌入向量将输入用户推荐预测单层感知机并经过Sigmoid激活函数激活,得到用户u对物品i的预测分值如下式所示:计算二元交叉熵损失,如下式所示:
其中,Itemu表示客户端u交互过的物品的集合;Item′u表示客户端u未交互过的物品的集合;表示用户u对负样本i′的预测分值;
S5.各个客户端在若干个epoch的本地训练结束后,利用更新后的模型参数,在验证集和测试集上进行预测,计算各个评价指标,并保留一条包含训练轮次ID、验证集上评价指标值、测试集上评价指标值和本地模型参数的记录,其中本地模型包括更新后的全局物品嵌入矩阵、用户的物品偏好嵌入向量、全局物品嵌入正交映射矩阵、用于生成物品嵌入混合因子矩阵的双层感知机和用户推荐预测单层感知机;客户端将更新后的全局物品嵌入矩阵进行本地差分隐私加密,与客户端在验证集、测试集上的评价指标计算值一起,上传至中央服务器;
S6.中央服务器在接收到各个客户端上传的经本地差分隐私加密后的全局物品嵌入矩阵后,根据全局物品存在表和物品ID,使用FedAvg算法对各个物品的全局嵌入向量进行聚合,得到新的全局物品嵌入向量;服务器分别计算所有客户端在验证集和测试集上各个评价指标的平均值;如果验证集上评价指标平均值优于之前训练中对应指标的最佳平均值,则将该指标的最佳平均值更新,并保存记录;将聚合后的全局物品嵌入矩阵分发给各个客户端,如果本轮更新了评价指标的最佳平均值,则通知客户端保留当前轮次的本地模型参数;
S7.客户端检验中央服务器下发的消息内容,如果包含保留当前轮次模型参数的信号,则保存当前轮次本地模型参数,否则无需保存,直接将模型参数更新、替换;客户端利用接收到的聚合后的全局物品嵌入矩阵,继续进行下一轮训练;
S8.以S4至S7为一个周期,周期性循环S4至S7至初始时设定的迭代周期数,中央服务器根据记录的验证集上评价指标最佳平均值所对应的训练轮次,确定最终的全局物品嵌入矩阵,并以对应轮次测试集上的评价指标平均值来衡量推荐效果;各个客户端利用训练好的全局物品嵌入矩阵和本地模型,输出各自的最终推荐结果。
2.一种面向隐私保护的个性化联邦推荐系统,所述系统用于实现权利要求1所述的方法,其特征在于,采用联邦学习架构,包括唯一的中央服务器和多个客户端,各个客户端无需向服务器上传原始本地数据,也无需向服务器暴露客户端模型,只将更新后的物品嵌入矩阵上传至服务器。
3.根据权利要求2所述的面向隐私保护的个性化联邦推荐系统,其特征在于,客户端本地更新后的全局物品嵌入矩阵经过本地差分隐私加密之后,上传至中央服务器。
4.根据权利要求2所述的面向隐私保护的个性化联邦推荐系统,其特征在于,每个客户端都要训练一组本地模型,本地模型包括物品偏好嵌入向量、正交映射矩阵、双层感知机和用户推荐预测单层感知机;
利用正交映射矩阵对全局物品嵌入矩阵进行正交变换,得到迁移物品嵌入矩阵;计算迁移物品嵌入矩阵和用户物品偏好嵌入向量差的绝对值矩阵,作为双层感知机的输入,输出一个混合因子矩阵,利用所述混合因子矩阵,将物品偏好嵌入向量和全局物品嵌入矩阵融合,得到混合物品嵌入矩阵,实现物品嵌入矩阵的本地个性化。
5.根据权利要求2所述的面向隐私保护的个性化联邦推荐系统,其特征在于,不使用用户的物品偏好嵌入向量和混合物品嵌入向量的内积作为推荐预测分值,而是将混合物品嵌入向量输入为客户端构建的推荐预测单层感知机,得到推荐预测分值。
6.根据权利要求2所述的面向隐私保护的个性化联邦推荐系统,其特征在于,每个客户端都训练三个浅层感知机,分别用于将全局物品嵌入向量个性化、生成物品嵌入混合因子矩阵和推荐预测。