欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 202410509575X
申请人: 麒和科技(南京)有限公司
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种面向多优先级任务的自适应协同推理加速方法,其特征在于:所述自适应协同推理加速方法通过自适应协同推理加速系统实现,该自适应协同推理加速方法具体包括以下步骤:步骤1、采集多个终端设备产生的具有不同优先级任务,建立任务属性模型,同时量化深度神经网络模型每层的计算复杂度,具体包括如下步骤:步骤1.1、每个终端设备i生成的任务为:其中,D

步骤1.2、设置γ

步骤2、利用香农公式建模当前自适应协同推理加速系统中的通信网络环境;

步骤3、在边缘服务器处构建基于任务优先级的非抢占式优先排队模型,具体包括以下步骤:步骤3.1、每个边缘服务器维护自己的任务队列并且采用非抢占式优先排队模型即当时隙t内,当高优先级任务进入排队等待队列时,在非抢占情况下高优先级任务优先处理;

步骤3.2、定义在t时隙内,比任务k晚进入队列但优先级更高任务的集合为:K′(t)={k′

其中,K′中任务的优先级γ′

其中,Ω

步骤4、在所述步骤3构建的基于任务优先级的非抢占式优先排队模型的基础上,根据自适应协同推理加速系统中的优化问题构建优化目标函数;

步骤5、将优化问题转化为部分可观测的马尔可夫决策问题;

步骤6、使用合作竞争的多智能体近端策略优化算法求解马尔可夫决策问题;

步骤7、终端设备和边缘服务器分别执行决策,完成多优先级任务的协同推理加速过程。

2.根据权利要求1所述的一种面向多优先级任务的自适应协同推理加速方法,其特征在于:步骤2利用香农公式建模当前自适应协同推理加速系统中的通信网络环境,具体包括以下步骤:步骤2.1、使用正交频分多址来将频带资源分配给终端设备,从终端设备i到边缘服务器m的最大数据传输速率表示为:R

其中,b

步骤2.2、在边缘服务器m和云服务器之间的最大数据传输速率表示为:R

其中,b

3.根据权利要求1所述的一种面向多优先级任务的自适应协同推理加速方法,其特征在于:所述步骤4中,针对终端设备和边缘服务器建立不同的优化目标函数,具体包括以下步骤:步骤4.1、终端设备i的优化问题旨在最小化完成该设备产生所有任务的推理时延和自身能耗,最小化时延是通过竞争边缘服务器的有限计算资源来完成的,因此不同的终端设备i之间为竞争关系,具体表示为:其中,

步骤4.2、所有的边缘服务器的优化目标为最小化自适应协同推理加速系统中的整体时延和系统总能耗,因此边缘服务器之间通过合作来完成此优化目标,具体表示为:S.t.(a)、(b)、(c)

其中,

4.根据权利要求1所述的一种面向多优先级任务的自适应协同推理加速方法,其特征在于:在所述步骤5中,将优化问题转化为部分可观测的马尔可夫决策过程中,每个终端设备和每个边缘服务器被视为智能体,采用集中式训练,分布式执行的方式来训练智能体,具体的,步骤5包括以下步骤:步骤5.1、将马尔可夫决策过程表示为元组步骤5.2、终端设备和边缘服务器的观测空间具体表示为:终端设备i的观测空间表示为:

其中,

边缘服务器m的观测空间表示为:

其中,终端设备i产生的任务k的配置信息步骤5.3、对于任务k,终端设备i和边缘服务器m的动作空间表示为:终端设备i的动作空间

边缘服务器m的动作空间

其中,

步骤5.4、对于任务k,终端设备i和边缘服务器m的奖励函数表示为:终端设备i的奖励函数为:

边缘服务器m的奖励函数为:

r

其中,r

其中,T

其中,N

5.根据权利要求1所述的一种面向多优先级任务的自适应协同推理加速方法,其特征在于:所述步骤6使用合作竞争的多智能体近端策略优化算法求解马尔可夫决策问题具体包括以下步骤:步骤6.1、将所有的终端设备设置为一类智能体,所有的边缘服务器设置为另一类智能体,在这两类智能体上分别部署近端策略优化算法,所述近端策略优化算法包括Actor网络和Critic网络,Actor网络根据策略π选择执行的动作,Critic网络评估所选动作的值;

步骤6.2、Actor网络通过梯度上升来更新参数θ,同时在重要性采样后获得actor网络的目标函数,使其最大化:其中,π

其中,

其中,(γλ)是折现因子,γ∈[0,1]是超参数,V步骤6.3、采用裁剪操作平衡策略改进和策略稳定性,得到在裁剪后actor网络的损失函数为:其中,∈是一个超参数,clip函数用于限制重要性采样比率的范围;

在智能体与环境交互的轨迹中,得到critic网络的累积折扣奖励其中,γ

其中,V

步骤6.4、对actor网络和critic网络的参数进行了更新,具体为:其中,α和β分别是actor网络和critic网络的学习率。

6.根据权利要求5所述的一种面向多优先级任务的自适应协同推理加速方法,其特征在于:所述步骤7终端设备和边缘服务器分别执行决策具体包括如下步骤:步骤7.1、边缘服务器根据其actor网络的输出来做出深度神经网络模型分割决策,下发给相应的终端设备;

步骤7.2、根据深度神经网络模型分割决策,在终端设备处执行深度神经网络模型的第一部分,同时终端设备根据其actor网络的输出来选择关联的边缘服务器,将深度神经网络模型第二部分上传到关联的边缘服务器,进入到边缘服务器处的排队等待队列进而完成协同推理加速过程。

7.根据权利要求1-6任一项所述的一种面向多优先级任务的自适应协同推理加速方法,其特征在于:所述自适应协同推理加速系统包括终端设备层、边缘服务器层和云服务器层,其中:所述终端设备层包括多个物联网设备,每个所述物联网设备产生不同优先级的推理任务;

所述边缘服务器层包括多个边缘服务器,在每个所述边缘服务器处建立基于任务优先级的非抢占式优先排队模型,保证高优先级任务优先处理的同时,又能使低优先级任务顺利完成;

所述云服务器层包括一个具有计算资源的云服务器,为协同推理过程提供计算资源。