欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022111841645
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.跨域异质场景下基于TDD通信的联邦学习效率评测方法,其特征在于,包括以下步骤:步骤一,对数据集中的台词文本和剧照图像数据进行平衡性划分,并使用LSTM模型实现人物分类任务,通过FedAVG算法实现联邦学习的全局参数聚合;

步骤二,计算跨域异质设备多样化场景下客户端服务器的交互时间,即每个轮次开销;

步骤三,绘制联邦学习精确度曲线,确定目标精度下的收敛轮次;所述步骤三判断联邦学习算法收敛轮次的具体步骤包括:在判断联邦学习收敛轮次时,首先要定义一个空白列表history‑acc,用它来收集每个迭代过程下以每轮迭代结果参数在测试集中进行测试的精度结果;在识别任务中以各个角色的特征点设为一个簇心,然后通过该轮迭代的模型结果对测试集中的样本进行学习并计算其与每个簇心的欧式距离;根据与簇心的距离去归纳为对应的角色;

然后若判断成功则使得判断正确的样本数加一,最终精确度计算为:判定正确的样本数/总的测试样本数;

根据每个轮次的精确度结果使用plot函数进行画图,在得到的精确度和迭代轮次的函数 后,其中 表示精确度; 表示迭代轮次为 时的相关函数 以每个任务的精度要求 找到对应的目标精度收敛迭代轮次 ;步骤四,计算通信效率评价指标,即数据传输总时间,以此来评价通信效率。

2.根据权利要求1所述的跨域异质场景下基于TDD通信的联邦学习效率评测方法,其特征在于,所述步骤一还包括测试环境配置的具体步骤包括:角色图片数据集与角色台词数据集两个跨域数据集;角色图片数据集中,台词、图片数据集中的每一个样本皆出自同样的角色,每张图片由128 128个像素点构成,每个像素点用一个灰度值表示;角色台词数据集中,台词长度超过10个字符且要体现人物性格、理想和戏剧矛盾;

步骤1‑1,数据集划分

考虑到上述设的数据集是一个真实的Non‑IID数据集,那么为了将不同标签的样本均匀划分到每个用户以实现用户数据之间的平衡,这里将每个样本的类别标签归纳在一个矩阵X∈R^(K*N)中,其中 表示用户个数,表示类别数;矩阵中的行向量代表了每个类别划分到不同的用户上的比例,而该行向量采样来自Dirichlet分布;Dirichlet分布的概率密度函数为:         (1)

其中 是符合要求的随机向量,而 是分布参数,其越大分布越均匀,越小则分布越聚集;

在对分划好的每一个客户端数据中,使用70%的数据作为训练样本,30%的数据作为测试样本;

步骤1‑2,设定模型、目标函数

在该联邦学习过程中采用LSTM模型,该模型包括两层LSTM层,其每层神经元数量为128与64,以及3层全连接层,其每层神经元数量为64、32与 , 代表了所需识别作品集中角色的数量,在第一、二个LSTM层中每个神经元利用遗忘门、输出门和更新门将每一个输入的向量和上一个有选择地遗忘的神经元记忆进行新的神经元状态的更新并将其传送至下一层的每一个神经元中;最后通过三层全连接层进行维度的降低直至与需要识别的角色数量相同;

其采用交叉熵损失函数作为目标函数,具体如下:

 (3)

其中 表示经过独热编码的角色身份标签,而 表示上述LSTM模型预测出的角色身份的概率分布;

步骤1‑3,联邦学习算法描述

在FedAvg算法的前提下,我们设第 个用户的数据集经过预处理后记为非独立同分布的样本集 ,其中 表示第 个用户所拥有第 个样本,且确定每个用户的学习目标,即损失函数为:

      (4)

其中 是每个训练数据的损失函数;那么在客户端上的局部训练需要达到的目标为: 全局训练的目标为: 其中 表示每个用户所占的权重;

FedAvg算法过程分为两步:局部梯度更新和全局更新;局部更新是指在每一个迭代轮次中都需要对上一步迭代的结果进行局部梯度计算,且第t+1次迭代中第k个客户端的局梯度更新公式为:      (5)

其中的 是用户的本地数据中随机采样出来的一个样值; 为本轮采用的学习率,为第t服务器更新的全局模型参数;那么当迭代轮次t+1是全局更新周期T的倍数时,客户端就要将本轮局部梯度的结果上传至服务端进行加权聚合:      (6)

并将聚合结果下载至客户端;如果当下一个时刻不是T的倍数时,那么此时上一步局部梯度的结果就是下一步训练的初始模型。

3.根据权利要求1所述的跨域异质场景下基于TDD通信的联邦学习效率评测方法,其特征在于:所述步骤二中计算客户端在每个轮次的通信开销的具体步骤包括:步骤2‑1,上传时间计算;

该联邦学习的整个过程分为先将局部梯度结果上传至服务器,服务器接收到后进行全局更新再将模型参数下载至客户端;那么上传过程中客户端需要将局部更新结果 上传至服务器,设压缩加密后的 数据量为 ;

考虑到设备异质下不同的客户端数据传输能力的不同,则第k个客户端对应的数据上传速度为 ,其中相同服务器设备的客户端传输速度一致,则第 个客户端在第 次迭代的上传时间为:      (7)

步骤2‑2,下载时间计算

下载指经过服务器的全局更新后的结果 要下载至客户端,设压缩加密后的 数据量为 ,其下载速度为 ;

设网络带宽即数据传输速率作为QoS的量化指标参数,但是由于客户端设备硬件条件的不同,其计算和通信能力也有不同,这种系统异质性会直接导致QoS的差异;

使用的异质设备包括:Brickland、Grantley和Purley平台下的Intel Xeon Gold 

6258R、Intel Xeon E7‑4809 v2、H3C R4900 G2和Intel Xeon E5‑2620服务器;以及NVIDIA和AMD的GPU设备;在这种设备异质的情况下第 个客户端在第 次迭代的下载时间为:      (9)

在公式(9)中当压缩加密后的 打包成的数据包根据QoS请求映射到对应的QoS数据流上时,只有当数据传输速度 满足第 个客户端的服务器QoS请求时才能传输成功;那么对应的下载时间就是由前 次中因 而传输错误所浪费的时间加上最后第 次传输成功所花费的时间;

步骤2‑3 总时间计算

在计算出每个用户上传局部训练模型参数和下载全局训练模型参数的时间后,每轮迭代过程的时间就取所有用户中上传和下载的最大时间和:      (10)。

4.根据权利要求1所述的跨域异质场景下基于TDD通信的联邦学习效率评测方法,其特征在于:所述步骤四中计算通信效率评价指标的具体步骤包括:在拥有收敛轮次和每个轮次的数据传输时间后,则在达到目标精度下的总的数据传输时间为:      (11)

在相同目标精度下,当数据传输时间 越小时通信效率越高,而当 越大时则通信效率不理想。