1.一种无线通信与计算资源协同优化方法,其特征在于,所述方法包括:为服务提供商集合中各个服务提供商建立与业务需求匹配的初始化全局模型,并根据所述业务需求匹配各个服务提供商的服务资源;所述服务提供商集合中包括多个服务提供商,每个服务提供商之间无合作关系;
建立每个服务提供商对应的服务智能体;
每个服务提供商对应的服务智能体基于对应的服务资源和其他服务提供商的状态信息生成最优策略,所述最优策略为所述服务资源的分配方式和分配客户端;
其中,各个服务智能体预测其他服务提供商的虚拟策略,基于所述虚拟策略生成当前服务智能体的最优策略;
按照所述最优策略将所述初始化全局模型发送至所述分配客户端;
各个所述分配客户端基于分配的服务资源训练接收到的待训练模型,将训练后模型发送至对应的服务提供商;
各个服务提供商接收所述最优策略对应的分配客户端的训练后模型,各个所述服务智能体分别聚合得到相应业务的全局模型;
所述每个服务提供商对应的服务智能体基于对应的服务资源和其他服务提供商的状态信息生成最优策略,包括:每个服务智能体获取对应服务的当前运行情况和观测到的全局信息;
遍历其他服务智能体的所有策略组合作为虚拟联合策略集;
每个服务智能体基于所述虚拟联合策略集和当前服务智能体的实时决策构建最优虚拟联合策略;
建立服务智能体在所述最优虚拟联合策略下的累积奖励;
求解使所述累积奖励最优的帕累托最优决策,作为所有服务智能体的联合最优策略;
所述基于所述虚拟策略生成当前服务智能体的最优策略,包括:基于动作价值函数遍历计算当前计算周期下各个虚拟策略和实时动作组合的期望累积奖励;
根据迭代计算周期差分更新所述期望累积奖励;
选择最大期望累积奖励对应的实时状态和实时动作,得到当前服务智能体对应的最优策略。
2.根据权利要求1所述的方法,其特征在于,所述求解使所述累积奖励最优的帕累托最优决策,包括:基于最优累积奖励获得最优动作变量,所述最优动作变量包括与服务资源分配方式相关的分配值及其对应的客户端,所述最优动作变量为连续量;
将所述最优动作变量中各个元素离散化;
确定每个离散化后的元素对应的三元变量,所述三元变量的表示维度小于离散后元素对应的维度;
将所述三元变量转换为笛卡尔积,获得所述最优动作变量的连续表示,得到帕累托最优决策。
3.根据权利要求1所述的方法,其特征在于,所述建立每个服务提供商对应的服务智能体,包括:基于自身业务状态信息和全局观测信息生成当前服务智能体的状态空间;
确定当前服务智能体对应的候选客户端集合和服务资源分配方式,作为动作空间;
基于通信评估、任务完成评估和任务完成能耗评估建立多目标奖励函数;
将所述状态空间作为输入,所述多目标奖励函数为目标,利用马尔可夫决策过程建立当前服务智能体的决策框架。
4.根据权利要求1所述的方法,其特征在于,所述每个服务提供商对应的服务智能体基于对应的服务资源和其他服务提供商的状态信息生成最优策略,包括:从候选客户端中筛选目标客户端;
基于服务智能体对应的通信带宽限制和任务精度需求,确定模型量化级别;
根据所述任务需求确定所述目标客户端中每个客户端的资源分配额度;所述资源分配额度包括通信资源分配额度和计算资源分配额度;
建立所述资源分配额度和模型量化级别与目标客户端中各个客户端的对应关系,生成最优策略。
5.根据权利要求1所述的方法,其特征在于,所述各个所述分配客户端基于分配的服务资源训练接收到的待训练模型,将训练后模型发送至对应的服务提供商,包括:基于所述最优策略将接收到的待训练模型进行拆分,得到多个训练子任务;每个训练子任务对应一个独立的训练模块;
基于每个训练模块的资源需求、所述最优策略,给所述训练模块分配初始资源;
各个训练模块基于本地数据集、所述初始资源对对应的训练子任务进行训练,在训练过程中基于当前资源状况实时调整工作频率和资源分配,直至所有训练模块完成训练,将各个训练后子任务发送给对应的服务提供商。
6.根据权利要求1所述的方法,其特征在于,所述将训练后模型发送至对应的服务提供商之前,所述方法还包括:各个服务提供商基于状态信息和任务需求,确定对应的分配客户端的量化阶数;
各个所述分配客户端基于所述量化阶数对所述训练后模型进行量化处理。
7.根据权利要求5所述的方法,其特征在于,所述在训练过程中基于当前资源状况实时调整工作频率和资源分配,包括:基于当前资源状况评估各个训练模块的资源需求;
基于所述资源需求确定各个训练模块的资源使用情况;
当目标训练模块的资源需求超出资源上限时,所述分配客户端调整所述目标训练模块的工作频率,根据所述资源使用情况依次减少其他训练模块的资源分配。
8.一种无线通信与计算资源协同优化系统,其特征在于,所述无线通信与计算资源协同优化系统包括服务提供商集合和分配客户端;其中,所述服务提供商集合包括多个服务提供商,每个服务提供商之间无合作关系;
所述服务提供商集合用于为各个服务提供商建立与业务需求匹配的初始化全局模型,并根据所述业务需求匹配各个服务提供商的服务资源;
所述服务提供商集合还用于按照最优策略将所述初始化全局模型发送至所述分配客户端;其中所述最优策略为所述服务资源的分配方式和分配客户端;
其中,每个服务提供商对应的服务智能体基于对应的服务资源和其他服务提供商的状态信息生成所述最优策略;各个服务智能体预测其他服务提供商的虚拟策略,基于所述虚拟策略生成当前服务智能体的最优策略;
所述分配客户端用于基于分配的服务资源训练接收到的待训练模型,将训练后模型发送至对应的服务提供商;
所述各个服务提供商还用于接收所述最优策略对应的分配客户端的训练后模型,分别对所述训练后模型聚合得到相应业务的全局模型;
所述每个服务提供商对应的服务智能体基于对应的服务资源和其他服务提供商的状态信息生成最优策略,包括:每个服务智能体获取对应服务的当前运行情况和观测到的全局信息;
遍历其他服务智能体的所有策略组合作为虚拟联合策略集;
每个服务智能体基于所述虚拟联合策略集和当前服务智能体的实时决策构建最优虚拟联合策略;
建立服务智能体在所述最优虚拟联合策略下的累积奖励;
求解使所述累积奖励最优的帕累托最优决策,作为所有服务智能体的联合最优策略;
所述基于所述虚拟策略生成当前服务智能体的最优策略,包括:基于动作价值函数遍历计算当前计算周期下各个虚拟策略和实时动作组合的期望累积奖励;
根据迭代计算周期差分更新所述期望累积奖励;
选择最大期望累积奖励对应的实时状态和实时动作,得到当前服务智能体对应的最优策略。