1.一种基于数字孪生的NOMA辅助云边端通信计算方法,其特征在于,所述方法包括以下步骤:步骤S1,构建云边端协同通信计算架构,S1.1,建立工业场景下的物理层,包含云边端三层,云层是具有强大计算能力的云服务器,边缘层包括具有不同计算能力以及负载能力的边缘服务器,终端层包括不同工业场景下的终端,S1.2,通过对物体实体的实时监测,依据物理实体的数据映射构建相应的数字孪生体,即数字层,物理层、数字层实时交互信息;
步骤S2,在云边端协同通信架构中引入NOMA通信,即终端与边缘服务器之间采用NOMA通信,每个边缘服务器覆盖预定数量的终端,同一边缘服务器覆盖范围下的终端被分组到同一个NOMA集群中,同一集群的终端在一个相同的子信道上多路复用以进行任务数据传输卸载,接收端利用SIC干扰消除技术进行信号接收;根据构建的云边端协同通信计算架构,考虑终端异构性、边缘服务器负载均衡性问题,对终端实时产生的计算任务进行部分卸载,选择将本地边缘服务器作为中继节点,进一步传输至第三方边缘服务器进行协同计算,同时考虑边缘计算的安全性问题,构建资源分配与任务卸载决策的优化目标以及相应的约束条件;
其中,资源分配与任务卸载决策的优化目标为最小化云边端协同任务卸载的总成本,,为个终端的集合,针对安全性问题,在资源分配与任务卸载决策的优化目标中的总的延迟和总能量消耗中融合了卸载至第三方边缘服务器产生的认证所消耗的时间和认证所需能耗,针对终端异构性采用时延权重因子和能耗权重因子进行动态调整,针对终端异构性对于时延以及能耗的不同Qos需求,时延权重因子和能耗权重因子依据终端对于时延以及能耗的敏感程度确定;其约束条件中引入功率分配系数,,为个边缘服务器的集合;
步骤S3,将优化目标以及相应的约束条件转化为多智能体MDP,其中,在状态空间中考虑第m个终端生成的任务能够接受的最大计算时间延迟,动作空间为所有智能体动作空间的集合,每个智能体的动作空间包括任务分割比例、功率分配系数、关联卸载方式,同时考虑负载均衡问题,在奖励函数中引入时延惩罚、负载均衡惩罚,时延惩罚依据分配策略下计算所得时延与其任务允许最大时延相比结果确定,超出最大时延限制则累计惩罚,负载均衡惩罚通过计算各边缘服务器卸载计算量与容限计算量比值的方差乘以比例系数得出;
步骤S4,在数字层利用多智能体深度强化学习MADDPG算法求解多智能体MDP,实现考虑负载均衡的调度策略制定,并与物理层实时交互完成策略下发,实现云边端协同的通信计算。
2.根据权利要求1所述的基于数字孪生的NOMA辅助云边端通信计算方法,其特征在于,步骤S1中,物理层包含个终端、个边缘服务器和一个云服务器,终端和边缘服务器分别用集合 和表示,数字层构建为。
3.根据权利要求1所述的基于数字孪生的NOMA辅助云边端通信计算方法,其特征在于,步骤S2中,考虑终端异构性和边缘服务器负载均衡性问题,具体如下:终端实时产生计算任务,第个终端上生成的任务参数表示为,表示生成任务数据量,表示该任务执行计算所需要的CPU周期数,表示该任务能够接受的最大计算时间延迟;
任务卸载实行部分比例卸载,将任务分割成两个不相干的部分,将按任务分割比例分割的任务卸载给边缘服务器或云服务器进行计算协同计算,本地计算的任务定义为,;
;
其中,表示本地计算任务的数据量大小,表示本地计算任务所需要的CPU周期数,将卸载到边缘服务器或云服务器的任务定义为:;
;
其中,表示任务分割比例,,表示任务卸载数据量大小,表示卸载计算部分所需的CPU周期数;
每个边缘服务器范围覆盖固定数量的终端,终端首先将部分任务卸载数据通过NOMA通信传输卸载到其对应的本地边缘服务器上,后续选择将任务在本地边缘服务器上计算,或是将本地服务器做为中继节点,将任务进一步卸载到第三方边缘服务器或云服务器上进行计算,任务最终只能在一个边缘服务器上或是在云服务器上进行计算,任务卸载关联系数用表示,二进制变量用以表示边缘服务器迁移以及卸载至云服务器,具体表达如下:。
4.根据权利要求1所述的基于数字孪生的NOMA辅助云边端通信计算方法,其特征在于,步骤S2中,所述的资源分配与任务卸载决策的优化目标以及相应的约束条件,具体如下:;
;
;
;
;
;
;
;
其中,为云边端协同任务卸载的总成本,为总的时间延迟,为总能量消耗,和分别为时延权重因子和能耗权重因子,并且,为第m个终端生成的任务能够接受的最大计算时间延迟,为任务分割比例,为边缘服务器迁移以及卸载至云服务器的二进制变量,表示卸载计算部分所需的CPU周期数,为第个边缘服务器所能负载的最大计算量,为功率分配系数,为个终端的集合,为个边缘服务器的集合;
为最大时延约束,表示任务分割比约束,为设备二进制关联,表示单一卸载关联,表示边缘负载约束,和表示功率分配系数约束。
5.根据权利要求4所述的基于数字孪生的NOMA辅助云边端通信计算方法,其特征在于,步骤S2中,构建资源分配与任务卸载决策的优化目标以及相应的约束条件,具体步骤如下:S2.1,构建认证模型,将计算任务卸载至第三方边缘服务器进行协同计算采用数字证书和唯一签名进行双边身份验证;
S2.2,构建通信模型
1)终端到边缘服务器卸载
将同一边缘服务器覆盖范围下的终端分组到同一个NOMA集群中,同一NOMA集群的终端在一个相同的子信道上多路复用以进行任务数据卸载传输,假设有个终端在第个边缘服务器覆盖范围内,将NOMA集群中的终端按照信道增益升序排序,终端发送信号为,则边缘基站接收到的信号为:;
其中,为第个NOMA集群向边缘服务器传输的发射功率,通过功率分配系数乘以总发射功率计算得到,为接收机处的高斯白噪声;
接收端使用干扰消除技术顺序接收信息,首先对信道质量好的终端进行解码,解码完成后从叠加信号中减去,然后对信道质量次的终端进行解码,则第个终端的信噪比为:;
其中,为加性高斯白噪声的噪声功率,
第个终端发送到第个本地边缘服务器的通信速率为:;
第个终端发送到第个本地边缘服务器的通信数据传输时延为:;
其中,表示任务卸载数据量大小;
如果任务从本地边缘服务器迁移到第三方边缘服务器卸载计算,则需要考虑迁移所需数据传输时延,边缘服务器之间采用光纤链路通信:;
其中,表示光纤链路传输速率;
终端将任务卸载到第三方边缘服务器上进行计算,需要获取终端与第三方边缘服务器之间的身份认证,因此,总的迁移时延为:;
其中,表示获取认证所消耗的时间;
则终端将任务卸载到边缘服务器上进行计算的总通信时延为:;
通信传输能耗表示为:
;
其中,表示获取认证所需能耗,本地边缘服务器传输至第三方边缘服务器的单位时间能量消耗;
2)终端到云服务器卸载:
终端将部分任务卸载到云服务器计算包含终端到本地边缘服务器以及本地边缘服务器到云服务器两段传输,第个终端将任务卸载到云服务器的总数据传输时延为:;
边缘服务器到云服务器传输同样采用光纤链路传输,边缘服务器到云服务器的数据传输时延:;
其中,表示边缘服务器与云服务器之间的通信速率;
任务从边缘服务器卸载到云服务器的传输能耗:;
其中,表示边缘服务器向云服务器光纤链路传输的功率;
S2.3,构建计算模型
1)本地计算
在计算模型构建时需要考虑构建数字层与物理层之间的数据偏差,表示数字层中本地计算的CPU频率,数字层与物理层计算资源的偏差值为,则本地任务计算时间为:;
本地计算的能量消耗计算为:
;
其中,表示第个终端进行本地计算芯片的有效开关电容;表示本地计算任务所需要的CPU周期数;
2)边缘计算
本地边缘服务器的任务计算卸载任务时间与能耗分别为:;
;
其中,表示本地边缘服务器处理一个CPU周期的能量消耗,表示数字层中本地边缘服务器计算的CPU频率,数字层与物理层计算资源的偏差值;
迁移第三方边缘服务器计算卸载任务时间与能耗分别为:;
;
其中,表示数字层中第三方边缘服务器计算的CPU频率,为数字层与物理层计算资源的偏差值,表示第三方边缘服务器处理一个CPU周期的能量消耗;
故边缘计算的总时间延迟为:
;
边缘计算的总能耗为:
;
3)云计算
云服务器计算卸载任务时间为:
;
其中,表示数字层中云服务器计算的CPU频率,数字层与物理层计算资源的偏差值为;
云服务器的计算能耗为:
;
其中,表示云服务器处理一个CPU周期的能量消耗;
S2.4,考虑在云边端协同方法中计算任务执行与数据传输通信并行进行,故总的时间延迟:;
其中,为终端层的总时间延迟,为边缘层的总时间延迟,为云层的总时间延迟;
;
;
;
总能量消耗为:
;
其中,为数据传输能耗,为任务执行能耗,;
。
6.根据权利要求5所述的基于数字孪生的NOMA辅助云边端通信计算方法,其特征在于,步骤S2.1构建认证模型,具体如下:步骤S2.1.1,终端和第三方边缘服务器向可信机构发送申请证书请求;
步骤S2.1.2,可信机构生成并签发证书,证书包括过期时间、用户ID和用户公钥;
步骤S2.1.3,获取证书后,终端和第三方边缘服务器交换证书;
步骤S2.1.4,终端签名认证信息和随机数,并发送至第三方边缘服务器;
步骤S2.1.5,第三方边缘服务器收到后验证消息并回复;
步骤S2.1.6,终端收到回复后验证并响应,完成认证。
7.根据权利要求1所述的基于数字孪生的NOMA辅助云边端通信计算方法,其特征在于,步骤S3具体为:步骤S3.1,每个终端的数字孪生体作为一个单独的智能体,并且最终整体协同获得最小的系统成本,个智能体的MDP用一个元组表示,描述环境的状态,通过数字孪生部署共享到的全局信息,表示所有智能体的动作空间合集,为个体智能体的奖励值集合,代表当前状态下执行动作的收益,为转移到下一状态的概率;
步骤S3.2,状态空间:状态空间为所有智能体对环境的观测值的集合,观测值包括终端生成任务的数据量以及任务,依据各终端对时延以及能耗敏感程度生成的二者加权系数集合,终端、边缘服务器以及云服务器的计算能力,数字孪生与实际物理实体之间的偏差以及发射功率分配情况,以及从边缘服务器的以及云服务器数字孪生体返回的关联终端情况;
步骤S3.3,动作空间:动作空间为所有智能体动作空间的集合,每个智能体的动作空间包括任务分割比例、功率分配系数、关联卸载方式:;
其中,,,;表示智能体在时间的任务分割比例,表示第个子信道在时间的功率分配系数,表示在时间内边缘服务器迁移以及卸载至云服务器的二进制变量;
步骤S3.4,奖励函数:
;
其中,为总的时间延迟,为总能量消耗,、分别为时延权重因子、能耗权重因子,,分别为时延惩罚、负载均衡惩罚。
8.根据权利要求1所述的基于数字孪生的NOMA辅助云边端通信计算方法,其特征在于,步骤S4,在数字层利用多智能体深度强化学习算法MADDPG求解多智能体MDP,实现考虑负载均衡的调度策略制定,并与物理层实时交互完成策略下发,实现云边端协同的通信计算,具体如下:步骤S4.1,初始化:在多智能体深度强化学习算法MADDPG中,每个终端对应一个智能体,每个智能体拥有一个演员网络和评论家网络,初始化每个智能体的演员网络和评论家网络以及对应的目标网络,为每个智能体分配经验池以存储交互经验;
步骤S4.2,调度策略生成:每个调度周期开始时,根据状态空间生成调度策略,每个智能体试用其演员网络选择其动作,包括任务分割比,功率分配系数以及关联卸载方式;
步骤S4.3,任务执行与经验存储:数字层将调度策略下发至物理层,根据其实际情况进行实时反馈,智能体将经验整合存储至经验池;
步骤S4.4,策略优化:智能体从经验池中随机采样多组经验数据,通过计算最小损失函数更新评论家网络,而后通过最大化评论家网络对当前调度策略的评估值更新演员网络;
步骤S4.5,软更新:每隔一段时间对目标网络进行软更新,通过软更新系数逐步逼近当前网络参数;
步骤S4.6,策略制定后下发到物理层进行实施,完成整体的调度工作。