1.一种基于元强化学习的双决策者任务卸载方法,其特征是,包括步骤如下:步骤1、收集用户任务信息和设备状态信息;
步骤2、构建由2个相对独立的序列到序列模型所组成的基于元强化学习的双决策者卸载模型,其中第一个序列到序列模型部署在边缘计算卸载环境中的用户终端上,第二个序列到序列模型部署在边缘计算卸载环境中的指定边缘服务器上;
步骤3、基于用户任务信息和设备状态信息计算每个任务的预计完成时间,并基于任务的预计完成时间对所有任务进行排序,得到任务嵌入序列;
步骤4、初始化第一个序列到序列模型初始的策略参数和元参数;
步骤5、将任务嵌入序列输入到第一个序列到序列模型中,通过优化第一个序列到序列模型的策略参数和元参数,得到任务嵌入序列所对应的第一卸载决策,其中第一卸载决策包括任务嵌入序列中的所有任务的卸载决策,即将该任务卸载到用户终端、边缘服务器或云服务器执行的决策;
步骤6、对第一卸载决策中各个任务的卸载决策进行判断:若该任务的卸载决策是卸载到本地用户终端或云服务器执行时,则该任务无需进一步决策;若该任务的卸载决策是卸载到边缘服务器执行时,则该任务需要进一步决策;
步骤7、将第一个序列到序列模型优化后的策略参数和元参数作为第二个序列到序列模型初始的策略参数和元参数进行进一步决策;
步骤8、将任务嵌入序列输入到第二个序列到序列模型中,通过优化第二个序列到序列模型的策略参数和元参数,得到任务嵌入序列所对应的第二卸载决策,其中第二卸载决策包括任务嵌入序列中需要进一步决策的任务的卸载决策,即将该任务卸载到哪一个边缘服务器执行的决策;
步骤9、将步骤5所得的第一卸载决策和步骤8所得的第二卸载决策作为任务卸载的决策结果输出。
2.根据权利要求1所述的一种基于元强化学习的双决策者任务卸载方法,其特征是,用户任务信息包括任务数据大小、运行该任务所需资源及任务之间的依赖关系;设备状态信息包括设备即用户终端、边缘服务器和云端服务器的计算能力、以及设备之间的传输速率。
3.根据权利要求1或2所述的一种基于元强化学习的双决策者任务卸载方法,其特征是,第i个任务的预计完成时间Timei为:其中,为第i个任务在本地即用户终端执行的预计完成时间,为第i个任务在边缘服务器执行的预计完成时间,为第i个任务在云服务器执行的预计完成时间;
上述式中:
为第i-1个任务在用户终端上开始运行的时间,为第i-1个任务在用户终端上结束运行的时间;
为第j个任务在用户终端上结束的时间,为第j个任务在边缘服务器上结束时间,为第j个任务在云服务器上结束的时间;
为发送第i-1个任务到边缘服务器的开始时间,发送第i-1个任务到边缘服务器的结束时间;
为边缘服务器开始处理第i-1个任务的时间,为边缘服务器处理完第i-1个任务的结束时间;
为发送第i个任务到边缘服务器的结束时间,为发送第j个任务到边缘服务器的结束时间;
为发送第i-1个任务到云服务器的开始时间,为发送第i-1个任务到云服务器的结束时间;
为云服务器开始处理第i-1个任务的时间,为云服务器处理完第i-1个任务的结束时间;
为发送第i个任务到云服务器的结束时间,为发送第j个任务到云服务器的结束时间;
fUE为用户终端的计算能力,fES为边缘服务器的计算能力,fCS为云端服务器的计算能力;rES为用户设备到边缘服务器的链路传输速率,rCS为用户设备到云端服务器的链路传输速率;ci为第i个任务的数据大小,vi为运行第i个任务所需资源;parent(i)为第i个任务的父任务,i=1,2,…,n,n为任务总数。
4.根据权利要求1所述的一种基于元强化学习的双决策者任务卸载方法,其特征是,步骤3中,需要将任务的预计完成时间转换为任务的权重来对所有任务进行排序,以得到任务嵌入序列;其中第i个任务的权重weighti为:式中,Timei为第i个任务的预计完成时间,weightj为第j个任务的权重,child(i)表示第i个任务的子任务,K为叶节点集。