1.一种通信高效的隐私保护推荐方法,其特征在于,包括以下步骤:
步骤1、构建基于图神经网络的推荐模型,用以捕捉用户兴趣以及实现对用户喜好的预测,并对推荐模型进行联邦训练;联邦训练过程包括:第一阶段,对用户数据保护处理:各用户客户端对自己本地交互数据进行扰动处理添加保护后进行传输,然后,这些添加扰动的数据被上传到中心服务器以进行用户的行为相似度的计算以及用户分组,其中各组内的成员共同训练一个推荐模型,而不是所有用户共同训练一个全局模型,同时中心服务器的高阶信息提取模块对每个用户提取一个组内高阶嵌入信息,完成用户分组及提取高阶信息后,中心服务器将高阶信息和项目嵌入以及模型参数发送给各小组成员,用户嵌入和项目嵌入以及推荐模型将通过联邦学习进行训练;
其中,高阶信息提取过程如下:
在联邦学习设置中,用户的数据在用户设备保存,对于用户un,只有用户un交互过的项目,即一阶节点,是本地可用的;用户嵌入保留有用户兴趣,包含一定隐私信息,在严格的隐私限制下,与用户un具有相同交互项的其他用户的嵌入,即二阶节点,是不可用;将与用户un具有相同交互项的其他用户的交互项,即三阶节点,加入到用户un的本地训练中,一旦服务器接收到每个用户上传的扰动记录,就可对具有相似偏好的用户进行分组,提取每个用户un的可用的高阶信息,高阶信息由两部分组成,一是高阶项列表,二是每个高阶项的出现频次,此处利用与用户un有相同交互项目的其他用户的交互项来增强用户un的兴趣表示;服务器将提取的高阶信息发送给每个目标用户后,就可执行推荐模型的联邦训练;
第二阶段,各客户端利用本地数据以及接收到的高阶信息进行模型的本地训练,模型训练数个轮次后上传中心服务器,中心服务器聚合各客户端上传的本地模型进行一次全局模型的更新,第二阶段重复进行多次直至全局模型可用;
推荐模型包括用户和物品的嵌入表示层、基于图神经网络的用户的兴趣提取模块、用户喜好的得分计算层,此外服务器端还设有一个高阶信息提取模块;在联邦训练中,根据推荐模型所处设备不同,将用户客户端持有的模型记做为本地模型,中心服务器持有的模型为全局模型;其中,推荐模型训练任务由各用户客户端和中心服务器联合完成,用户客户端利用本地数据进行推荐模型的训练更新,中心服务器对各用户客户端上传的本地模型进行聚合更新获取最新的全局模型及更新后的分发;
步骤2、对于一个冷启动用户,获取联邦训练中获得的用户嵌入和项目嵌入;
步骤3、将用户嵌入及用户未交互过的项目的嵌入送入训练好的推荐模型,获取用户对未交互过项目的兴趣分数;
步骤4、按推荐模型输出的用户对项目的兴趣分数的大小对项目进行排序推荐。
2.根据权利要求1所述的通信高效的隐私保护推荐方法,其特征在于,用户数据保护处理的具体步骤如下:定义U={u1,u2,…,uN}和T={t1,t2,…,tM}分别为用户集和项目集,其中N为用户数,M为项目数,用户un对项目tm的评分值为Rnm,则所有用户对项目的评分构成的评分矩阵为R∈RN×M,每个用户都在本地存储评分数据,因此评分矩阵对服务器不可用;客户端c被定义为存储用户评分数据和用户真实交互数据的本地设备,每个客户端cn关联一个用户un,其真实评分数据和交互数据分别为Rn-和hn,每个用户un有一个本地评级记录向量使用这些评分记录生成交互数据hn,hnm表示交互数据hn上第m位被转换后的结果,方法如下所示:随后,扰动后的用户交互记录通过随机翻转机制生成。
3.根据权利要求1所述的通信高效的隐私保护推荐方法,其特征在于,用户行为相似度计算及用户分组由服务器进行执行,用户的行为相似度通过Jaccard相似度来进行估计,两个用户1和2的相似度函数定义如下:其中,h1表示用户1的交互数据,h2表示用户2的交互数据,
计算用户相似度的关键在于给定扰动向量和的情况下,对h1∩h2和h1∪h2进行一个准确的估计,扰动向量和分别是h1和h2添加扰动后的交互数据,对于i,j∈{0,1},nij表示在真实向量的第s个比特位置上的h1[s]=i和h2[s]=j的序对的个数,所有nij构成向量同样的,对于i,j∈{0,1},mij表示在扰动向量的第s个比特位置上和的序对的个数,所有mij构成向量设pr(1→1)=pr(0→0)=q1,表示某一位置上的值保持原始值的概率为q1,pr(1→0)=pr(0→1)=q2,表示某一位置上的值翻转的概率为q2,则向量h1和h2的并集和交集的基数可以用平均场模型估计为:其中原始向量某一位置上的值保持原始值的概率为q1,翻转的概率为q2,通过对矩阵求逆,可以得到nij的四个无偏估计量:原始向量h1和h2中对应位置上00序对的个数由向量长度m和|h1∪h2|共同决定,即n00=m-|h1∪h2|,那么|h1∪h2|可以估计为:为|h1∪h2|的估计值;
同时,可以直接作为h1∩h2的估计量,
为h1∩h2的估计值;
基于该计算方式,利用上传的扰动数据,可以估计任意两个用户的行为相似度,生成一个用户相似度矩阵S∈RN×N,将相似矩阵S的第n行作为用户un在分组阶段的行为特征,即用户un与所有其他用户的相似度;
然后,利用聚类算法将用户划分为不同的集群G={Gl|l=1,…,C},其中Gl为第l个用户分组,C为聚类后的用户组数。
4.根据权利要求1所述的通信高效的隐私保护推荐方法,其特征在于,每个客户端都有三种不同类型的嵌入,分别是用户嵌入、评分项目嵌入和高阶项目嵌入,用户嵌入用以保留用户自身的隐私特征,并始终保存在本地设备,项目嵌入是隐藏空间中项目特征的向量表示,评分项目嵌入可以提供关于用户对特定项目的偏好的信息,高阶项目嵌入提供与该用户间接交互项目的信息以增强用户兴趣表示;
项目嵌入表示为Et∈Rd×M,由服务器维护,每个用户un都有自身的嵌入表示由用户自身维护;
对于用户un,其评分项目为高阶项目为其评分项目嵌入为高阶项嵌入为K、P分别表示用户评分项和高阶项的总数,高阶项嵌入和评分项目嵌入以及用户嵌入作为本地模型的输入,以进行推荐模型的训练,及用户/项目嵌入的学习和预测用户喜好,方法如下:使用不同的GAT层来学习相应的嵌入权值,聚合这三种类型的嵌入:其中对于用户及评分项目(un,tk),注意力分数snk为:
其中W1∈Rd×d是线性映射矩阵,为用户自身的嵌入表示,为用户评分项目的嵌入表示,Attention函数表示注意层,更具体地说,attention层定义为其中a∈R2d是权向量,||表示两个向量的拼接运算;
对于用户un的评分项,使用softmax函数计算注意力权重αnk如下:
其中,snk为用户及评分项目的注意力分数;
定义高阶项的权重βnp计算为:
其中表示用户un的高阶项p的重复次数,为用户即高阶项目的注意力分数,与用户与评分项的注意力分数采用相同的计算模式;
两种类型的项目的信息聚合如下:
分别为聚合后的用户评分项和高阶项的隐藏嵌入,为高阶项的嵌入表示;
采用自注意力机制对两类获得的隐藏嵌入进行计算以获得当前的兴趣表示eagg,最终的用户表示计算方式为:H={un,agg}
H为下标合集,用以标识当前的eh的指代,Att表示注意力机制计算,eh表示和eagg两部分;
预测用户喜好时,给定学习到的用户un的最终嵌入表示以及项目t的嵌入表示et,其中项目t包括用户交互项目和未交互项目,则用户un对项目t评分计算如下:其中T表示转置。
5.根据权利要求1所述的通信高效的隐私保护推荐方法,其特征在于,联邦训练过程中,真实用户-项目交互数据保存在本地设备中,用于本地模型训练;本地模型学习到的用户嵌入只由本地设备保存,不上传服务器,只有模型参数和项目嵌入被上传到服务器进行聚合。
6.根据权利要求1所述的通信高效的隐私保护推荐方法,其特征在于,联邦训练过程中,对用户交互记录的保护利用伪交互项采样策略实现:在本地客户端中,Q个项目被采样为伪项,记为即Q个用户未曾与之交互,且没有出现在高阶项列表中的项目,伪项的预测分数有当前本地模型计算后取整得到;根据预测分数与取整后分数的差值,可以在本地设备中更新伪项嵌入,则在用户本地由有三种类型项目嵌入得到更新,分别为,用户交互过的项目的嵌入,高阶项嵌入,伪项嵌入;在联邦聚合阶段,将三种类型的项嵌入,即用户评分项嵌入、伪项嵌入和高阶项嵌入,一起上传,从而隐藏用户真正交互的项目列表。
7.一种通信高效的隐私保护推荐系统,其特征在于,用于实现权利要求1-6任一项所述的推荐方法,所述系统包括多个用户客户端及一个中心服务器,各客户端与服务器的数据传输方式如下:各用户客户端本地设备利用差分隐私技术对自己的本地交互数据进行扰动处理后上传服务器;
服务器端对得到的用户扰动数据进行处理,在有噪声存在的情况下对噪声数据的相似度进行去噪计算,获取用户之间的相似度;服务器利用计算所得的用户相似度矩阵对有相同兴趣的用户进行个性化分组,进行用户个性化分组后在服务器上提取模型训练所需要的高阶信息;服务器将提取出的高阶信息发送给各用户;重复下面的步骤完整推荐模型的训练:服务器将全局模型分发给各客户端,各客户端利用本地数据及接收到的高阶信息进行本地模型的训练,各客户端并将更新后的本地模型的参数上传到服务器,服务器对各组接收到的模型参数进行分组聚合,以更新服务器上的全局模型。