1.一种基于边缘计算的知识蒸馏周期内的CPU资源分配优化方法,包括以下步骤:(1)建立边缘环境中的知识蒸馏表示通信与计算的时间依赖关系的数字模型;
(2)构建边缘计算中知识蒸馏迭代过程中的通信与计算任务并行场景,提出在整个KD周期内的时间优化任务;
(3)提出优化时间管理的策略:采用基于动态资源分配的框架来实现近似最优的解决方案;
(4)进行模拟实验,评估优化方法在基于实际边缘环境的KD中的有效性;
步骤(1)中,考虑CPU核心对知识蒸馏所需的总时间调度的影响,在Raspberry Pi和Jetson Xavier NX平台上进行一系列对照实验,以定量评估不同CPU内核分配下通信和计算任务所需时间的变化,由实验结果提出以下表示通信时间和计算时间与CPU内核分配关系的函数拟合:①计算:边缘设备中计算任务所需的时间取决于CPU内核的分配;所需的计算时间与分配给通信的CPU核数之间的关系用以下函数近似拟合:其中,f(x,c)为分配给通信任务的c个CPU核的计算工作量x所需的计算时间;常数a1和a2反映了CPU分配对计算时间的影响;在该方程中,计算时间随着能够用于通信任务的CPU核数的增加而增加;这突出了计算资源的线性减少,因为更多的CPU内核从计算任务中分配出去;
②通信:边缘设备中通信任务在CPU内核分配方面的边际收益递减,通信任务所需的时间用以下函数近似拟合:其中,g(y,c)表示具有数据量y和分配用于通信的c个CPU核的通信任务所需的时间;b1·c表示随着核数的增加,通信速度呈线性提高;而b2·log(b3·c)表示随着分配的核数的增加,提高速度呈对数递减;常数b1,b2和b3定义了此关系的特定特征;该公式表明,最初,增加专用于通信的核心数量c能够显著减少通信时间,但在某一点之后,效果变得不明显。
2.如权利要求1所述的一种基于边缘计算的知识蒸馏周期内的CPU资源分配优化方法,其特征在于,步骤(2)中,假设边缘计算环境中知识蒸馏的迭代过程涉及N个Comm和Comp任务循环,每个循环由Forward和Backward任务组成;Comm和Comp任务的并行执行突出了固有的资源争用及其对两个进程的速度的影响,因此提出围绕N个周期的时间优化任务,具体包括:①提出约束条件:考虑Comm是一个连续的过程,蒸馏温度系数T从云端传输logit数据,并且计算涉及Forward和Backward传播,其中Backward依赖于logits,用以下约束条件构筑时间优化问题:
1)Comm是不间断的,logit从云端的教师模型传输,这需要持续分配资源用于数据传输,直到通信任务完成;
2)Comp序列中的每个Backward依赖于相应Comm周期的logits;如果Comm尚未完成,则Backward必须等待,从而导致延迟;
3)当时间大于tend时,表示所有Comm都已完成,此时所有计算资源将分配给Comp任务,即t″阶段只有Comm任务;
②时间的计算:在系统Comm和Comp的复杂协调中,时间的计算是一个关键因素,特别是当考虑到各种计算过程之间的相互依赖性;为了便于进行彻底的分析,采用基于阶段的方法,在每次反向计算之前分割时间线;假设有N个反向计算实例,因此确定N+1个不同的时间段进行分析:
1)第一个时间段,记为t1;设表示转发1的计算负载,表示第一个通信周期Comm的通信负载;t1的持续时间表示为:该式中,和分别表示量化前向传播完成时间和通信周期的函数;是指在完成后,重新分配核数完成剩余计算所需的时间;t1持续时间的判定标准取决于前向传播时间是否小于通信时间;值得注意的是,如果较小,则意味着后续的通信周期将与Forward1重叠;
2)对于t2到tN段,我们考虑三种情况:第一种情况,如t2所示,由重叠时间t′和计算时间t″组成;第二种情况,如t3所示,表明通信和计算是并行完成的;第三种情况,如tN所示,发生在没有通信任务的情况下,导致内核资源重新分配使其有利于计算任务;三种情况下各时间段表示如下:
1.第一种场景:通信和计算任务重叠;对于时间段ti,其表示如下:
2.第二种场景:通信和计算并行完成;对于时间段ti,其表示如下:
3.第三种场景:所有的通信任务已经完成,只剩下计算任务;此时允许将资源重新全部分给Comp,则对于时间段ti,其表示如下:
3)对于最后一个时间段tN+1,由于没有额外的Comm任务,所需的时间专门用于BackwardN;用数学公式表示如下:总计算时间Ttotal,即表示跨N段Comm和Comp任务的KD过程的总的持续时间;Ttotal的优化取决于有效的CPU核心资源分配策略,主要目标是通过优化每一段的核心利用率来最小化Ttotal,确保从t1到tN的时间总和尽可能短;在数学上表示为:该式中,ti(ci)表示在给定CPU内核ci分配情况下,第i段所花费的时间。
3.如权利要求2所述的一种基于边缘计算的知识蒸馏周期内的CPU资源分配优化方法,其特征在于,步骤(3)中,针对在步骤(2)构建的知识蒸馏周期内的三种通信任务与计算任务场景下,采用动态资源分配对整个周期的每一段进行时间优化;时间优化方案的内容包括以下步骤:①引入状态表示:定义Si,j,k来表示完成i,j,j轮Comm,Forward和Backward循环的状态,状态Si,j,k的时间表示为T(Si,j,k);
②提出优化目标min T(SN,N,N):旨在找到最小化的最终值T(SN,N,N),从而在Comm,Forward,Backward的N个循环中优化整个过程;
③对CPU的内核分配进行策略管理:提出内核分配模型的两个约束问题,由函数Φ(Si,j,k)和相关条件定义为:在此函数中,在任何状态Si,j,k分配的总核数不超过可用核总数ctotal;其中,ccomm(S)和ccomp(S)表示状态Si,j,k时分配给Comm和Comp的核数;函数Alloc(S)根据当前状态Si,j,k动态确定分配;通过三个特定条件对CPU分配进行战略性管理,以优化系统性能:若i
其中,动态调整核心分配的具体步骤为:
1)将总的CPU内核数量全部分配给Comp;
2)由f和g公式得出在给定相应内核下的通信计算和时间,将其中的最大值作为当前所需时间;
3)将当前时间与最小时间对比,取较小的数值将其更新为最小时间,同时记录下当前CPU内核分别分配给Comm和Comp的数量;
4)改变CPU内核分配方式,逐步增加分配给Comm的内核数量,循环进行上述2),3)步,直到所有的分配方式经过迭代,最终得到花费时间最低的内核分配方式;
④提出状态转移方程:Si,j,k处的状态转移取决于核心分配,其数学表达式如下:其中Δ表示时间转移量,定义为三个不同时间段之间的最短间隔:给定周期内Comm,Forward,Backward阶段的最小完成时间,变量i′,j′,k′表示在Si,j,k+Δ时刻Comm,Forward,Backward循环各自的完成次数;
⑤时间计算,寻找最小值T(SN,N,N),步骤如下:
1)时间初始化为T(S0,0,0)=0;
2)根据Φ(Si,j,k)进行内核分配,将ctotal分配给cComm和cComp;
3)由f和g公式确定时间转移量Δ;
4)更新当前状态为Si,j,k+Δ,即Si′,j′,k′;
5)基于Δ,cComm和cComp更新通信和计算任务工作负载;
6)循环进行上述2),3),4),5)步,直到KD周期结束。
4.如权利要求3所述的一种基于边缘计算的知识蒸馏周期内的CPU资源分配优化方法,其特征在于,步骤(4)中,通过大量数据拟合结果,进行一系列实验模拟实际的基于边缘环境的KD过程,与普通方法比较,评估优化方案在不同的模拟场景下的性能:①实际边缘环境KD过程的模拟:使用不同批大小的数据集作为教师模型推理和学生模型训练的输入,获得不同大小的logits以及相应的通信和计算次数,将这些经验采样数据用作模拟框架和函数拟合的输入,即Comm和Comp的工作负载;其中,函数包括f和g;
②设置不同的Comm与Comp的工作负载比率,将其分别设置为1:1和1:2,以密切模拟实际操作;同时将Comm和Comp的工作负载配置为反映真实的操作数据;
③改变关键参数,如CPU内核总数的数量ctotal:在将ctotal设置为6、8、10和12的情况下进行实验,检验CPU内核可用性的变化怎样影响资源分配策略的有效性;
④对每种配置随机分配算法进行1000次实验,同时将所述的优化方法的优化方案与常用的分配方案进行比较:
1)随机分配:考虑到基于边缘环境的KD的依赖性,在并行Comm和Comp任务的情况下,CPU资源随机分配;
2)基于优先级的分配:无论并行竞争如何,CPU资源在任何给定时间都专门分配给Comm和Comp任务;
得到出色的实验结果:在不同的工作负载分布和不同的可用CPU总数下,优化方案所花费的时间可以达到近似最优的性能。