1.一种基于排队论的协同推理加速方法,其特征在于,所述方法包括如下步骤:步骤1,构建架构系统,其包括终端设备、边缘服务器和云服务器;对终端设备产生的任务数据进行采集,建立任务属性模型,同时计算完成推理任务所需DNN模型每一层的推理延迟;终端设备的集合为 ;边缘服务器m的集合为 ;
步骤2,监测当前无线链路的网络带宽,同时建立终端设备与边缘服务器及边缘服务器与云服务器的通信模型,将推理任务上传到边缘服务器;
步骤3,对当前边缘服务器处的负载状况以及队列状态信息进行监控并评估,上传到边缘服务器的推理任务进行犹豫,依据当前队列状态信息做出是否将DNN模型直接上传到云服务器的决策,若上传则跳转步骤7,否则跳转步骤4;
步骤4,推理任务进入边缘服务器的排队等待队列,同时根据当前队列状态信息以及步骤1中得到的每层推理延迟进行DNN模型分区,得到分区策略,分为DNN模型浅段部分和DNN模型深段部分;若此时推理任务不触发反悔机制则跳转步骤5,否则跳转步骤6;
步骤5,基于步骤4得到的分区策略,边缘服务器协同DNN模型浅段部分和DNN模型深段部分执行推理任务,并收集此时的队列状态信息,跳转步骤8;
步骤6,当触发反悔机制时,DNN模型深段部分跳转步骤7;
步骤7,模型上传到云服务器完成推理,且在云服务器处完成推理结果的聚合,进入步骤8;
步骤8,计算完成,获得此时的模型分区策略以及总推理时延T;
步骤9,比较当前轮次的总推理时延T与上一轮次得到的推理时延 ,当 时,迭代至步骤3;当总推理时延不再减小时,输出最优模型分区策略以及最小推理时延结果。
2.根据权利要求1所述的基于排队论的协同推理加速方法,其特征在于,步骤1所述的对终端设备产生的任务数据进行采集,建立任务属性模型,同时计算完成推理任务所需DNN模型每一层的推理延迟,具体包括如下步骤:步骤11,设定 是所有终端设备中产生的总任务的集合;推理任务k被描述为 ,其中 表示推理任务k的模型分割点; 表示该推理任务的数据量大小,其单位为MBytes; 表示推理任务k的最大容忍时延;
步骤12,基于初始边缘服务器给定负载的情况下,计算完成推理任务所需DNN模型每一层的推理延迟,表示为 ,其中,完成推理任务k所需要的DNN模型有 层,并且满足 ;
根据得到的DNN模型每一层的推理延迟以及DNN各层之间的相关性确定初始分区策略。
3.根据权利要求1所述的基于排队论的协同推理加速方法,其特征在于,步骤2中所述的监测当前无线链路的网络带宽,同时建立终端设备与边缘服务器及边缘服务器与云服务器的通信模型,将推理任务上传到边缘服务器,具体包括如下步骤:步骤21,设总带宽为B,假设相关联的信道是频率非选择性的,且信道增益可以在每个推理任务的传输期间保持恒定且由边缘服务器准确估计;相应地,在推理任务上传期间从终端设备到边缘服务器m实现的瞬时上行链路传输速率通过下式获得:,
其中,表示分配给终端设备 的带宽; 表示终端设备的发射功率;标量 表示在终端设备和边缘服务器m 之间的上行链路信道增益; 表示加性高斯白噪声AWGN的方差;
对于网络资源的限制,分配给每个终端设备的带宽资源总和满足以下约束条件:,
步骤22,在边缘服务器m和云服务器之间实现的瞬时上行链路传输速率表示为:,
其中, 表示分配给边缘服务器的带宽资源; 表示由边缘服务器m到云服务器的发射功率; 表示边缘服务器m和云服务器之间的上行链路信道增益,其中包括通信链路中的路径损耗和小尺度衰落;
步骤23,由终端设备到边缘服务器m的传输时延:
,
其中, 表示该推理任务的数据量大小;
步骤24,由边缘服务器m到云服务器的传输时延定义为:,
其中, 表示推理任务k经分区后的数据大小; 是否上传到云服务器的决策。
4.根据权利要求1所述的基于排队论的协同推理加速方法,其特征在于,步骤3中所述的对当前边缘服务器处的负载状况以及队列状态信息进行监控并评估,上传到边缘服务器的推理任务进行犹豫,依据当前队列状态信息做出是否将DNN模型直接上传到云服务器的决策,具体步骤如下:步骤31,队列状态信息Q包括任务在当前队列中的位置以及当前队列中边缘服务器的服务率,具体可以表示为:,
其中, 表示推理任务k在当前的等待队列中的位置; 表示当前边缘服务器m 的服务率,其中 与边缘服务器的当前负载状况有关,当前边缘服务器负载越大,则边缘服务器的服务率越小;反之,边缘服务器的服务率越大;
步骤32,根据当前队列状态信息做出是否上传到云服务器的决策,其定义为:,
其中, 表示推理任务在边缘服务器m处进行排队等待的延迟; 表示推理任务在边缘服务器m处的处理延迟; 表示为推理任务由边缘服务器到云服务器的传输时延;因为云服务器拥有充足的计算资源且处理速度快,因此不考虑在云服务器上的处理时延;
表示推理任务在边缘服务器处完成推理; 表示上传到云服务器;
步骤33,在边缘服务器m处的排队等待时间:
;
其中, 表示推理任务k在当前队列中前 的位置上的推理任务的总处理时延,其值影响DNN模型是否上传到云服务器的决策。
5.根据权利要求4所述的基于排队论的协同推理加速方法,其特征在于,当推理任务经过排队等待并没有做出反悔决策时,任务将由边缘服务器处理,在这种情况下,推理任务k在边缘服务器m处的处理时延表示为:,
其中 表示推理任务k经分区后的数据大小。
6.根据权利要求1所述的基于排队论的协同推理加速方法,其特征在于,步骤4中所述的任务进入边缘服务器的排队等待队列,同时根据当前队列状态信息以及步骤1中得到的每层推理延迟进行DNN模型分区,得到分区策略,具体步骤如下:步骤41,分区策略将DNN模型划分为两部分:1)DNN模型的浅段部分在边缘服务器处执行;2)DNN模型的深段部分传输到云服务器处执行,其中DNN模型在边缘服务器浅段部分的输出结果通过通信链路传输到云服务器作为深段部分的输入;
步骤42,完成终端设备 产生的推理任务 所需要的DNN模型的模型分割点表示为整数变量 ,代表DNN模型的第0层到第 层在边缘服务器处执行,第 层到第层在云服务器处计算;特殊地当 和 分别表示DNN模型完全在云服务器处执行和完全在边缘服务器处执行。
7.根据权利要求1所述的基于排队论的协同推理加速方法,其特征在于,步骤9,比较当前轮次的总推理时延T与上一轮次得到的推理时延 ,当 时,迭代至步骤3;当总推理时延不再减小时,输出最优模型分区策略以及最小推理时延结果,具体步骤如下:DNN模型的推理延迟定义为如下问题:
,
(a)
(b)
(c)
(d)
(e),
其中, 表示推理任务k的模型分割点; 表示由终端设备 到边缘服务器m的传输时延; 表示在边缘服务器m处的排队等待时间; 表示推理任务k在边缘服务器m处的处理时延;
(a)表示分配给终端设备的带宽之和应不大于架构系统中由终端设备到边缘服务器的总带宽;(b)表明对于推理任务k在系统中的处理时延不能超过其最大的时延容忍时间;(c)表示对于DNN模型的模型分区点是有效的,使得模型能够被有效分割;(d)表示推理任务根据时延对比选择所要对其处理的服务器;(e)表示边缘服务器计算能力的限制;
不断迭代,直到推理延迟不再减小时,输出最终分区策略以及最小推理时延结果。