1.面向全局时延优化的云边端协同CNN推理方法,其特征在于,包括如下步骤:
S1、基于已训练好的并且已划分为N层CNN模型,对该N层CNN模型划分为n块:CNN1,CNN2,…CNNj,…CNNn,1≤j≤n,n>1;
S2、离线学习阶段:以已知的边缘服务器eI自身浮点计算能力FSI、正在处理的CNN块的计算复杂度、待处理的CNN块的平均计算复杂度、待处理的CNN块包含的操作层层数为输入,以对应的边缘服务器eI计算待处理的CNN块产生的实际分块推理时延为输出,构建并训练分块推理时延预测模型;所述操作层包括卷积层、全连接层和池化层;
S3、以已知的边缘服务器自身的浮点计算能力、待处理的CNN块的计算复杂度、正在处理的CNN块的平均计算复杂度、正在处理的CNN块包含的操作层层数为输入,以对应的边缘服务器计算待处理的CNN块对正在处理的CNN块产生的实际时延损耗为输出,构建并训练时延损耗预测模型;
S4、基于物理终端将初始图像数据处理为分辨率相同、数据量大小相等的张量数据,并将张量数据发送给与其在同一局域网内的边缘服务器;边缘服务器采集其与局域网内其他边缘服务器之间网络带宽,计算理论数据传输时延;
S5、将实际的边缘服务器自身浮点计算能力、正在处理的CNN块的计算复杂度、待处理的CNN块的平均计算复杂度、待处理的CNN块包含的层数输入至步骤S2得到的分块推理时延预测模型,计算得到边缘服务器计算待处理CNN块产生的理论分块推理时延;
将实际的边缘服务器自身的浮点计算能力、待处理的CNN块的计算复杂度、正在处理的CNN块的平均计算复杂度、正在处理的CNN块包含的操作层层数输入至步骤S3得到的时延损耗预测模型中,计算得到边缘服务器计算待处理的CNN块对正在处理的CNN块产生的理论时延损耗;
S6、以S4得到的理论数据传输时延、步骤S5得到的边缘服务器计算待处理CNN块产生的理论分块推理时延、边缘服务器计算CNN块对正在处理的CNN块产生的理论时延损耗为输入、以边缘服务器理论全局时延为输出,构建全局时延预测模型;
S7、利用全局时延预测模型计算各个边缘服务器的理论全局时延;
S8、判断当前边缘服务器的理论全局时延是否小于等于其他边缘服务器的理论全局时延,是则由当前边缘服务器计算待处理的CNN块,然后执行步骤S9;否则将待处理的CNN块传输至其他边缘服务器计算,由选定的其他边缘服务器完成待处理CNN块的计算,然后执行步骤S9,完成对下一个CNN块的决策;
S9、判断CNN块是否全部计算完成,是则边缘服务器将CNN块的计算结果发送给发出任务请求的物理终端,否则返回执行步骤S7,完成对下一个CNN块的决策。
2.根据权利要求1所述的面向全局时延优化的云边端协同CNN推理方法,其特征在于,步骤S2中,分块推理时延预测模型如下式:式中,FSI是缘服务器eI自身的浮点计算能力, 是自身正在处理的CNN块
eI_CNNj_pt的计算复杂度, 是待处理的CNN块CNNj的平均计算复杂度、m是CNNj包含的操作层层数,eI_tmdj_p是边缘服务器eI计算CNNj产生的理论分块推理时延输出。
3.根据权利要求2所述的面向全局时延优化的云边端协同CNN推理方法,其特征在于,步骤S3中,时延损耗预测模型如下式:式中,FSI是边缘服务器的浮点计算能力, 是待处理的CNN块CNNj的计算复杂度,是正在处理的CNN块eI‑CNNj‑pt的平均计算复杂度,m_pt是正在处理的CNN块包含的操作层层数,eI_tloss_p是边缘服务器eI计算CNNj对正在处理的eI_CNNj_pt产生的理论时延损耗。
4.根据权利要求3所述的面向全局时延优化的云边端协同CNN推理方法,其特征在于,步骤S4中,按如下公式计算理论数据传输时延:tIJ=Tdq‑1/bwIJ,
式中,Tdq‑1是张量数据,bwIJ是边缘服务器之间的网络带宽。
5.根据权利要求4所述的面向全局时延优化的云边端协同CNN推理方法,其特征在于,步骤S6中,所述全局时延预测模型如下式:其中, 是即边缘服务器eJ处理协同推理任务产生的理论全局时延,eJ_tmdj_p是边缘服务器eJ计算CNNj产生的理论分块推理时延输出,eJ_tloss_p是边缘服务器eJ计算待处理的CNN块对正在处理的CNN块产生的理论时延损耗,FSJ是边缘服务器eJ的浮点计算能力,是边缘服务器eJ正在处理的CNN块eJ_CNNj_pt的平均计算复杂度,边缘服务器eI处理协同推理任务产生的理论全局时延,边缘服务器eI计算完CNN块CNNp后仍由自身处理下一个CNN块CNNq,此时不会产生tIJ。
6.根据权利要求1所述的面向全局时延优化的云边端协同CNN推理方法,其特征在于,步骤S1中,CNNj中含有至少两个连续的张量数据,对于任一含有m个张量数据的CNNj而言,它含有的张量数据和操作层分别为:Tdj‑1,Tdj‑2,…Tdj‑m,Lyj‑1,Lyj‑2,…Lyj‑m,m>1,其中Tdj‑1的计算复杂度大于CNNj中其他任意一个张量数据的计算复杂度;对于任意两个相邻的CNN块,即CNNp和CNNq:CNN1,…CNNp,CNNq,…CNNn,1≤p<q≤n,q‑p=1,CNNp中的最后一个张量数据和CNNq中的第一个张量数据相同。
7.根据权利要求6所述的面向全局时延优化的云边端协同CNN推理方法,其特征在于,所述步骤S4中,基于物理终端将初始图像数据处理为分辨率相同、数据量大小相等的张量数据,并将张量数据发送给与其在同一局域网内的边缘服务器,具体为:初始图像数据被处理为数据量大小相同、分辨率大小相等的图像特征数据,图像特征数据作为张量数据Td1‑1输入CNN1,Td1‑1经过CNN1中的操作层计算后,生成张量数据Td2‑1并传入CNN2,即:在CNNj中,张量数据Tdj‑1经过操作层Lyj‑1,Lyj‑2,…Lyj‑m的计算后,生成张量数据dj‑m并传入下一个CNN块,CNN块CNNn中最后一个张量数据的生成标志着CNN推理的结束。
8.根据权利要求1所述的面向全局时延优化的云边端协同CNN推理方法,其特征在于,CNN块CNNj中所有操作层的计算复杂度共计为:记为CNNj的计算复杂度,CNNj的平均计算复杂度记为:
计算CNNj包含的所有操作层所产生的分块推理时延为tmdj, 为
任一操作层lyj的计算复杂度,m为CNNj包含的操作层层数。
9.根据权利要求8所述的面向全局时延优化的云边端协同CNN推理方法,其特征在于,CNN各个操作层Lyi的计算复杂度为:式中,操作层Lyi为卷积层,其计算复杂度为 操作层Lyi为全连接层,其计
算复杂度为 H、W、Cin依次代表输入操作层Lyi的张量数据Tdi的高度、宽度、通道数,K代表输入操作层Lyi的卷积核的边长,Cout代表输出操作层Lyi的张量数据Tdi+1的通道数,I、Q分别代表输入操作层Lyi的张量数据Tdi的维数、输出操作层Lyi的张量数据Tdi+1的维数。
10.面向全局时延优化的云边端协同CNN推理系统,其特征在于,包括:云服务器c,云服务器c的通信范围内至少设有两个边缘服务器,所述边缘服务器部署在WIFI接入点或基站上,各边缘服务器的通信范围内至少设有一个物理终端;针对云服务器c通信范围内的任意一个边缘服务器eI,边缘服务器eI通信范围内与其物理距离小于预设距离x的其他O个边缘服务器记为:e1,e2,…eJ,…eo,1≤J≤o,o>1,且这O个边缘服务器也在云服务器c的通信范围内,此O个边缘服务器同边缘服务器eI一起组成边缘集群;
所述云服务器包括:卷积神经网络、模型训练中心、通信模块;
所述边缘服务器包括:态势感知中心、卷积神经网络、策略生成中心、通信模块;所述物理终端包括:通信模块;
所述模型训练中心用于训练卷积神经网络、推理时延预测模型和时延损耗预测模型;
所述卷积神经网络用于已经训练完备的、服务于智能应用程序的、被分割为n块CNN块CNNj的n层CNN;
所述通信模块用于云服务器、边缘服务器和物理终端之间数据发送、接收;
所述态势感知中心包括工作负载感知模块和网络遥测模块;所述工作负载感知模块用于采集边缘服务器自身的浮点计算熊力FSI、自身正在负责推理的CNN块eI_CNNj_pt的计算复杂度 和平均计算复杂度 其他O个边缘服务器eJ的浮点计算能力FSJ、其他o个边缘服务器eJ正在负责推理的CNN块eJ_CNNj_pt的计算复杂度和平均计算复杂度所述网络遥测模块用于采集边缘服务器eI和边缘服务器eJ间的网络带宽bwIJ;
所述策略生成中心包括分块推理时延预测模块、传输时延计算模块、全局时延预测模块、离线样本数据存储模块和决策信息生成模块;
所述分块推理时延预测模块用于以已知的边缘服务器eI自身浮点计算能力FSI、正在处理的CNN块的计算复杂度、待处理的CNN块的平均计算复杂度、待处理的CNN块包含的层数为输入,以对应的边缘服务器eI计算待处理的CNN块产生的实际分块推理时延为输出,构建并训练分块推理时延预测模型;
所述传输时延计算模块用于基于物理终端将图像数据处理为分辨率相同、数据量大小相等的张量数据,并将张量数据发送给与其在同一局域网内的边缘服务器;边缘服务器采集其与局域网内其他边缘服务器之间网络带宽,计算理论数据传输时延;
所述全局时延预测模块用于以理论数据传输时延、边缘服务器计算待处理CNN块产生的理论分块推理时延、边缘服务器计算CNN块对正在处理的CNN块产生的理论时延损耗为输入、以边缘服务器理论全局时延为输出,构建全局时延预测模型;
所述离线样本数据存储模块用于采集、存储边缘服务器eI在自身浮点计算能力为FSI、自身正在处理的CNN块eI_CNNj_pt的计算复杂度为 时,计算层数为m层且平均计算复杂度为 的CNN块CNNj产生的实际分块推理时延eI_tmdj;采集、存储边缘服务器eI在自身浮点计算能力为FSI、自身正在处理的操作层层数为m_pt且平均计算复杂度为 的CNN块eI_CNNj_pt时,处理计算复杂度为 的CNN块CNNj对正在计算的eI_CNNj_pt产生的实际时延损耗tloss;
所述决策信息生成模块用于判断当前边缘服务器的理论全局时延是否小于等于其他
边缘服务器的理论全局时延,是则由当前边缘服务器计算待处理的CNN块,然后判断CNN块是否全部计算完成,是则边缘服务器将CNN块的计算结果发送给发出任务请求的物理终端;
否则将待处理的CNN块传输至其他边缘服务器计算,直到CNN块全部计算完成。