欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024119873535
申请人: 江南大学
专利类型:发明专利
专利状态:已下证
专利领域: 控制;调节
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种无人机任务卸载与轨迹规划方法,其特征在于,包括以下步骤:

将目标区域建模为M×M的六边形网格,根据无人机的经过各个区域的顺序依次为每个区域编号,得到目标区域的系统模型;其中,M为设定行数与列数;

基于目标区域的系统模型,构建无人机移动模型,所述无人机移动模型包括:无人机的飞行速度,无人机在相邻两个区域之间的飞行距离、飞行时间,无人机在各区域的位置表示,区域决策变量;

构建任务模型,所述任务模型包括:

基于当前区域的每个任务节点的卸载决策变量、当前区域的每个节点在本地设备计算的时间、当前区域的每个节点在无人机计算的时间、每个节点从本地设备卸载到无人机的传输时间,得到执行当前区域的每个任务节点所消耗的时间;

基于当前区域的有向无环图、当前区域的节点之间由于依赖关系引起的传输时间,得到当前区域的每个任务节点的执行开始时刻;

基于执行当前区域的每个任务节点所消耗的时间、当前区域的每个任务节点的执行开始时刻,得到当前区域的每个任务节点的完成时刻;

基于当前区域的每个任务节点的完成时刻、当前区域的第一个任务节点的执行开始时刻,得到完成当前区域的有向无环图的时间;

基于当前区域的每个任务节点的卸载决策变量、当前区域的每个任务节点计算时的数据量大小,得到无人机在当前区域内辅助计算的数据量;构建无人机能耗模型,所述无人机能耗模型包括:基于当前区域的区域决策变量、无人机计算当前区域的有向无环图的能耗、无人机在当前区域内悬停的能耗、无人机从前一个区域飞向下一个区域的飞行能耗,得到无人机在当前区域的总能耗;

基于无人机在上一个区域的总能耗、无人机进入上一个区域时的能量,得到无人机进入当前区域时的能量;

基于目标区域的系统模型、无人机移动模型、任务模型与无人机能耗模型,构建无人机任务卸载与路径规划策略的优化函数与约束条件,并将求解无人机任务卸载与路径规划策略的过程描述为马尔科夫决策过程,建立状态空间、动作空间及奖励函数,得到深度强化学习框架;

采用双重深度Q网络对马尔科夫决策过程进行求解,解得满足约束条件的最优无人机任务卸载与路径规划策略。

2.根据权利要求1所述的一种无人机任务卸载与轨迹规划方法,其特征在于,无人机在各区域的位置表示包括:无人机在飞行过程中最后一次进入的区域编号为N,目标区域的区域编号集合为{1,2,…,n,…,N},则无人机的起点位置qs的坐标为(x1,y1,0),终点位置qf的坐标为(xN,yN,0),在第n个区域的位置q[n]为(xn,yn,H);其中,xn为第n个区域的中心点的横坐标,yn为第n个区域的中心点的纵坐标,H为无人机飞行的高度。

3.根据权利要求1所述的一种无人机任务卸载与轨迹规划方法,其特征在于,构建当前区域的有向无环图,包括:将当前区域内的每个任务作为任务节点,每个任务节点包括该任务节点从本地设备卸载到无人机所需传输的数据量大小与计算时的数据量大小,构建当前区域的任务节点集合;

若计算当前区域的第i个任务节点时,需要第j个任务节点产生的数据量dji,则构建一条从第j个任务节点指向第i个任务节点的有向边Eji(dji),基于当前区域的所有有向边,构建当前区域的有向边集合;

基于当前区域的任务节点集合与有向边集合,构建当前区域的有向无环图。

4.根据权利要求1所述的一种无人机任务卸载与轨迹规划方法,其特征在于,无人机进入第n个区域后,根据第n个区域的区域决策变量决定是否悬停辅助计算当前区域内的任务,当为0时,无人机跳转到相邻区域,当为1时,无人机悬停辅助计算当前区域内的任务;

当第n个区域的第i个任务节点的卸载决策变量Sn,i为0时,第n个区域的第i个任务节点卸载到本地设备上,当第n个区域的第i个任务节点的卸载决策变量Sn,i=1时,第n个区域的第i个任务节点卸载到无人机上,Sn,i∈{0,1}。

5.根据权利要求4所述的一种无人机任务卸载与轨迹规划方法,其特征在于,执行当前区域的每个任务节点所消耗的时间的计算式为:其中,为执行第n个区域的第i个任务节点所消耗的时间,为第n个区域的第i个任务节点在本地设备计算的时间,cn,i为第n个区域的第i个任务节点计算时的数据量大小,为第n个区域的第i个任务节点在无人机计算的时间,fuav为无人机的计算能力,为第n个区域的第i个任务节点从本地设备卸载到无人机的传输时间,wn,i为第n个区域的第i个任务节点从本地设备卸载到无人机所需传输的数据量大小,Rtrans为无人机在当前区域内接收数据和发送数据的速率;

当前区域的每个任务节点的执行开始时刻的计算式为:

其中,为第n个区域的第i个任务节点的执行开始时刻,max(.)为取最大值,为第n个区域的第i个任务节点前置任务的集合,为第n个区域的第j个任务节点的完成时刻,为第n个区域的第j个任务节点为第i个任务节点的前置任务而引发的传输时间,dji为计算第n个区域的第i个任务节点时,需要第j个任务节点产生的数据量,Sn,j为第n个区域的第j个任务节点的卸载决策变量,Sn,i为第n个区域的第i个任务节点的卸载决策变量;

当前区域的每个任务节点的完成时刻的计算式为:

其中,为第n个区域的第i个任务节点的完成时刻;

完成当前区域的有向无环图的时间计算式为:

其中,ttotal[n]为完成第n个区域的有向无环图的时间,为第n个区域的第L[n]个任务节点的完成时刻,L[n]为第n个区域的任务节点总数,为第n个区域的第一个任务节点的执行开始时刻;

无人机在当前区域内辅助计算的数据量计算式为:

C[n]=∑i∈L[n]Sn,icn,i,

其中,C[n]为无人机在第n个区域内辅助计算的数据量。

6.根据权利要求5所述的一种无人机任务卸载与轨迹规划方法,其特征在于,无人机在当前区域的总能耗的公式为:其中,为无人机在第n个区域的总能耗,为第n个区域的区域决策变量,为无人机在第n个区域内悬停的能耗,为无人机计算第n个区域的有向无环图的能耗,为无人机从前一个区域飞向下一个区域的飞行能耗;

无人机进入当前区域时的能量的公式为:

其中,E[n]为无人机进入第n个区域时的能量,E[n-1]为无人机进入第n-1个区域时的能量,为无人机在第n-1个区域的总能耗;

所述无人机在第n个区域内悬停的能耗为:

其中,pstay为无人机悬停的功率;

所述无人机计算第n个区域的有向无环图的能耗为:

其中,为无人机处理第n个区域的第i个任务节点的能耗,pexec为无人机计算任务的功率,为无人机接收第n个区域的第i个任务节点传输的能耗,prece为无人机接收传输的功率,为第n个区域的第j个任务节点为第i个任务节点的前置任务而引发的无人机的消耗psend为无人机传输的功率;

所述无人机从前一个区域飞向下一个区域的飞行能耗为:

其中,pfly为无人机的飞行功率,tfly为无人机在相邻两个区域之间的飞行时间,P0为无人机叶片的功率,P1为无人机悬停的诱导功率,v0是无人机转子的平均速度,Utip为无人机叶片的尖端速度,d0为无人机机身阻力比,s为无人机旋翼的实度,A为无人机旋翼面积,ρ为空气密度,vfly为无人机的飞行速度。

7.根据权利要求6所述的一种无人机任务卸载与轨迹规划方法,其特征在于,所述构建无人机任务卸载与路径规划策略的优化函数与约束条件包括:无人机任务卸载与路径规划策略的优化函数为:约束条件包括:

其中,α1为第一权重系数,若无人机最终到达终点位置,则α1为1,无人机最终未到达终点位置,则α1为0,RqF为无人机最终到达终点位置的奖励,α为第二权重系数,Rp为无人机越界的惩罚,Rp为负值,若无人机飞行过程中超出区域边界,则α2为1,若无人机飞行过程中没有超出区域边界,则α2为0,N为无人机在飞行过程中最后一次进入的区域编号,α3为第三权重系数,Rt[n]为无人机在第n个区域计算卸载任务的奖励,Rt[n]=ξ×C[n],ξ为第一系数,Rc[n]为无人机在第n个区域辅助区域计算的奖励,qU[1]为无人机进入的第一个区域,qS为无人机的起点位置,qU[N]为无人机进入的最后一个区域的位置,N为无人机在飞行过程中最后一次进入的区域编号,qF为无人机终点位置,E[1]为无人机在第一个区域的初始能量。

8.根据权利要求7所述的一种无人机任务卸载与轨迹规划方法,其特征在于,将求解无人机任务卸载与路径规划策略的过程描述为马尔科夫决策过程,建立状态空间、动作空间及奖励函数,得到深度强化学习框架,包括:状态空间包括:无人机当前的位置坐标在六边形网格中的坐标表示、能量与当前区域的有向无环图任务的特征其中,当前区域的有向无环图任务的特征其中,为归一化后的当前区域的有向无环图的邻接矩阵,为归一化后的当前区域的有向无环图的任务节点特征矩阵,I为单位矩阵;

动作空间包括:悬停于当前区域、向当前区域的上方相邻区域移动、向当前区域的右上方相邻区域移动、向当前区域的右下方相邻区域移动、向当前区域的下方相邻区域移动、向当前区域的左下方相邻区域移动、向当前区域的左上方相邻区域移动;

奖励函数包括:无人机最终到达终点位置的奖励无人机越界的惩罚Rp、无人机在第n个区域消耗能量的负奖励无人机在第n个区域辅助区域计算的奖励Rc[n]、无人机在第n个区域计算卸载任务的奖励Rt[n]=ξ×C[n],无人机距离变化奖励Rd=η×Δd;

其中,Rt[n]、Rc[n]的系数包括E[n]/E[1],Rd的系数包括(E[1]-E[n])/E[1],ξ为第一系数,∈为第二系数,η为第三系数,Δd为无人机与终点位置之间距离的变化量。

9.根据权利要求8所述的一种无人机任务卸载与轨迹规划方法,其特征在于,所述采用双重深度Q网络对马尔科夫决策过程进行求解,包括:步骤S601:初始化Q网络的参数θ、目标网络的参数θ′=θ、噪声网络参数、经验回放池的容量I、折扣因子γ∈[0,1)、优先级强度参数α、权重修正参数β、常数∈、预设批量大小m、训练步数T、当前训练次数k、最大训练次数K、无人机的初始状态s0;

步骤S602:将时间步索引t初始化为1;

步骤S603:将无人机当前状态st输入Q网络,得到所有动作对应的Q值,选择具有最大Q值的动作作为初步动作,利用噪声网络生成噪声,基于初步动作与噪声,得到执行动作at;

步骤S604:无人机执行选定的动作at,根据目标区域的系统模型、无人机移动模型、任务模型、无人机能耗模型与状态转移概率进行状态转移,得到奖励函数值rt与无人机的下一状态st+1,将产生的经验池样本(st,at,rt,st+1)存入经验池;

步骤S605:判断经验池样本的数量是否小于I,若小于I,则t=t+1,返回执行步骤S603直至经验池样本的数量大于等于I;

步骤S606:当经验池样本的数量大于或等于I后,基于每个经验池样本的奖励函数值、折扣因子γ、执行动作对应的Q值、在无人机的下一状态下通过目标网络得到所有动作中的最大Q值,计算每个经验池样本的TD误差;

步骤S607:基于每个经验池样本的TD误差、优先级强度参数α、常数∈,计算得到每个经验池样本的优先级,根据每个经验池样本的优先级,取出预设批量大小m的经验池样本,对于取出的每一个经验池样本计算其采样频率;

步骤S608:基于取出的每一个经验池样本的采样频率、权重修正参数β、经验回放池的容量I,计算取出的每一个经验池样本的重要性采样权重;根据重要性采样权重,对每个经验池样本的TD误差进行修正;

步骤S609:基于修正后的每个经验池样本的TD误差,采用梯度下降法对Q网络的参数θ进行更新;

步骤S610:每隔T步更新目标网络的参数θ′;

步骤S611:判断k小于K是否成立,若成立,则令k=k+1,返回执行步骤S602,若不成立,则得到满足约束条件的最优无人机任务卸载与路径规划策略。

10.一种无人机任务卸载与轨迹规划系统,其特征在于,包括:

系统模型构建模块,用于将目标区域建模为M×M的六边形网格,根据无人机的经过各个区域的顺序依次为每个区域编号,得到目标区域的系统模型;其中,M为设定行数与列数;

无人机移动模型构建模块,用于基于目标区域的系统模型,构建无人机移动模型,所述无人机移动模型包括:无人机的飞行速度,无人机在相邻两个区域之间的飞行距离、飞行时间,无人机在各区域的位置表示,区域决策变量;

任务模型构建模块,用于构建任务模型,所述任务模型包括:

基于当前区域的每个任务节点的卸载决策变量、当前区域的每个节点在本地设备计算的时间、当前区域的每个节点在无人机计算的时间、每个节点从本地设备卸载到无人机的传输时间,得到执行当前区域的每个任务节点所消耗的时间;

基于当前区域的有向无环图、当前区域的节点之间由于依赖关系引起的传输时间,得到当前区域的每个任务节点的执行开始时刻;

基于执行当前区域的每个任务节点所消耗的时间、当前区域的每个任务节点的执行开始时刻,得到当前区域的每个任务节点的完成时刻;

基于当前区域的每个任务节点的完成时刻、当前区域的第一个任务节点的执行开始时刻,得到完成当前区域的有向无环图的时间;

基于当前区域的每个任务节点的卸载决策变量、当前区域的每个任务节点计算时的数据量大小,得到无人机在当前区域内辅助计算的数据量;无人机能耗模型构建模块,用于构建无人机能耗模型,所述无人机能耗模型包括:基于当前区域的区域决策变量、无人机计算当前区域的有向无环图的能耗、无人机在当前区域内悬停的能耗、无人机从前一个区域飞向下一个区域的飞行能耗,得到无人机在当前区域的总能耗;

基于无人机在上一个区域的总能耗、无人机进入上一个区域时的能量,得到无人机进入当前区域时的能量;

深度强化学习框架构建模块,用于基于目标区域的系统模型、无人机移动模型、任务模型与无人机能耗模型,构建无人机任务卸载与路径规划策略的优化函数与约束条件,并将求解无人机任务卸载与路径规划策略的过程描述为马尔科夫决策过程,建立状态空间、动作空间及奖励函数,得到深度强化学习框架;

求解模块,用于采用双重深度Q网络对马尔科夫决策过程进行求解,解得满足约束条件的最优无人机任务卸载与路径规划策略。