1.一种无人机多任务点路径规划方法,其特征在于,具体包括以下步骤:步骤S1:方法开始;
步骤S2:建立空地系统信道模型和窃听者位置的不确定性模型,基于空地系统信道模型和窃听者位置的不确定性模型构建CUAV任务总完成时间和通信中断时间加权和最小化模型;
步骤S3:离散化CUAV任务总完成时间和通信中断时间加权和最小化模型对应的优化问题;
步骤S4:对离散化的优化问题进行马尔可夫决策过程建模,并提出HT-D3QN算法进行求解;
步骤S5:对通信系统环境建模以及初始化HT-D3QN算法对应的神经网络的参数,对HT-D3QN算法对应的神经网络的参数进行迭代优化;
步骤S6:判断训练的HT-D3QN算法对应的神经网络是否收敛,若收敛则输出HT-D3QN算法对应的神经网络最优参数,否则返回步骤S5继续迭代优化;
步骤S7:训练结束,输出最优路径规划策略;
所述步骤S2中建立空地系统信道模型和窃听者位置的不确定性模型具体包括:假定窃听者位于一个半径为的圆形区域的中心,则CUAV与窃听者之间的距离可建模为:;
式中,表示CUAV在时刻的坐标,表示CUAV在时刻其在地面上的投影与窃听者之间的距离,表示CUAV在时刻的高度,窃听者的位置;表示CUAV与窃听者之间的欧式距离;
所述步骤S2中建立空地系统信道模型和窃听者位置的不确定性模型还包括:获取时刻从CUAV到第个蜂窝单元的路径损耗;
其中和分别表示CUAV和第个蜂窝单元通信时LoS和Non-LoS链路发生的概率;
其中;;式中和为常数;
表示第个蜂窝到CUAV的仰角,;式中,和表示第个蜂窝的坐标,表示CUAV在时刻的坐标;
CUAV到第个蜂窝的LoS链路的路径损耗;
CUAV到第个蜂窝的NLoS链路的路径损耗其中表示CUAV到第个蜂窝的欧式距离,为与CUAV通信的基站的载波频率,为CUAV在时刻的飞行高度;获取CUAV到第个蜂窝的信息速率;
式中,表示CUAV的发射功率,表示CUAV到第个蜂窝的信道增益,、、分别代表基站天线增益、路径损耗、小尺度衰落,其中与蜂窝单元增益跟天线阵列增益有关,其计算公式为,其中element跟Array分别代表单元增益和阵列增益;是一个随机变量;表示此时其他未与CUAV通信的蜂窝对CUAV的干扰功率,其中,表示第个蜂窝的发射功率;
所述步骤S2中建立空地系统信道模型和窃听者位置的不确定性模型还包括:获取时刻从CUAV到第个窃听者的路径损耗;
获取从CUAV到第个窃听者的LoS和NLoS链路的路径损耗;
;
其中表示参考距离处的路径损耗;是路径损耗指数;是一个均值为0,标准差为的高斯随机变量;表示CUAV与窃听者之间的欧式距离;
其中和分别表示CUAV和第个窃听者通信时LoS和Non-LoS链路发生的概率;
其中;;是表示e个窃听者到CUAV的仰角;,和表示第e个窃听者的坐标;
获取CUAV到第个窃听者的窃听速率;其中,为自然高斯噪声;
所述步骤S2中基于空地系统信道模型和窃听者位置的不确定性模型构建CUAV任务总完成时间和通信中断时间加权和最小化模型具体包括:获取CUAV和基站之间的最差保密速率;
判断CUAV在时刻的保密速率是否低于中断阈值;
若是,则表明CUAV与地面基站的安全通信发生了中断,则通信中断概率;
获取任务总完成时间内,CUAV的通信中断时间,其中表示CUAV任务总完成时间;表示CUAV 在t时刻所连接的蜂窝;
根据任务总完成时间内CUAV的通信中断时间构建最小化任务总完成时间和通信中断时间加权和的优化问题:其中是平衡任务总完成时间和通信中断时间的加权系数;中表示CUAV的最大飞行速度,表示CUAV飞行方向;中表示CUAV的飞行速度不受方向影响;规定了CUAV的起始点;规定了CUAV的任务执行空域范围;规定了CUAV执行任务时不能与障碍物发生碰撞;表示CUAV在某一时刻与哪个蜂窝通信;和规定了CUAV必须依次完成所有任务点的巡检;S表示CUAV的飞行路径;表示第i个高耸障碍物,表示第j个任务点的坐标,表示t时刻通信的蜂窝,表示高耸障碍物的总数,表示蜂窝的总数,表示任务点的总数,表示CUAV的飞行空域。
2.根据权利要求1所述的一种无人机多任务点路径规划方法,其特征在于,所述步骤S3具体包括:将CUAV任务总完成时间离散化为,其中表示CUAV飞行的总步数,表示CUAV每步所需的时间;
将CUAV的飞行轨迹离散化为;
将CUAV的通信中断概率离散化为;
在单位时间步长内,使用软切换机制对空域内的基站蜂窝测量次,并把第次的测量得到的CUAV保密速率记为,其中表示小尺度衰落,则新的通信中断概率为:;
;
优先选择与通信中断概率最小的基站蜂窝建立连接,则CUAV执行任务过程中的通信中断概率表示为:;
则优化问题P0可离散化为:
;
式中,表示单位时间步长内CUAV的位移。
3.根据权利要求2所述的一种无人机多任务点路径规划方法,其特征在于,所述步骤S4具体包括:将CUAV需要巡检的每个任务点定义为一个子任务,由高层智能体进行管理,由低层智能体负责执行;对低层智能体的MDP四元组进行映射;状态空间;动作空间;状态转移概率的取值由CUAV于当前状态下选择动作的条件概率所支配;分别表示CUAV在三维空间中的前、后、左、右、上、下的六个方向;
第k个时间步长对应的奖励函数
;
其中代表当前子任务所在位置,表示当前时间步长CUAV的位置,表示上一个时间步长CUAV所在位置;表示低层智能体子任务完成后的总步数;
对高层智能体的MDP四元组进行映射;
状态空间;动作空间;
奖励函数式中,为折扣因子;,表示低层智能体在执行子任务时第k步的回报奖励,表示低层智能体子任务完成后的总步数;
状态转移由CUAV执行完子任务时或未完成子任务时的最终位置决定,即。
4.根据权利要求3所述的一种无人机多任务点路径规划方法,其特征在于,所述步骤S4还包括:初始化CUAV位置和奖励函数;
将高层智能体的状态和奖励函数输入到其对应的两组Q网络中,以使得高层智能体输出下一步将执行的子任务;
低层智能体基于CUAV当前位置和高层智能体的子任务,计算每个动作Q值,并选择具有最大Q值对应的动作反馈给CUAV;
CUAV执行最大Q值对应的动作,CUAV位置从转移到,并生成新的奖励函数;同时低层智能体状态序列和高层智能体状态序列被存储在经验池用于后续的网络更新;
判断子任务是否完成,若是,则产生新的子任务给低层智能体执行;若否,则返回到低层智能体基于CUAV当前位置和高层智能体的子任务,计算每个动作Q值,并选择具有最大Q值对应的动作反馈给CUAV;直至CUAV移动步数达到子任务限定的总步数;
其中,判断子任务是否完成具体包括:
判断CUAV的新位置与子任务坐标之间的距离是否满足小于等于预设距离阈值;若满足,则表明完成了子任务;若不满足,则表明没有完成子任务。
5.一种电子设备,其特征在于,包括:存储器和处理器;
所述存储器,用于存储程序;
所述处理器,用于调用存储于所述存储器中的程序,以执行如权利要求1-4任一项所述的一种无人机多任务点路径规划方法。
6.一种可读存储介质,其特征在于,所述可读存储介质上存储有计算机程序,所述计算机程序被处理器执行时,以实现如权利要求1-4任一项所述的一种无人机多任务点路径规划方法。