1.一种无人车辅助的信息年龄最小化的无人机路径规划方法,其特征在于,包括以下步骤:步骤一、构建感知场景;
步骤二、基于所述感知场景构建深度强化学习中的状态空间、动作空间、状态转移函数和奖励函数;基于状态空间、动作空间、状态转移函数和奖励函数构建无人机飞行路径规划模型;
步骤三、获取当前状态,基于当前状态与所述无人机飞行路径规划模型获取无人机最佳动作,基于充电模块执行无人机最佳动作,并存储经验;重复此步骤,直至达到最大步数或完成预设感知任务;
步骤四、基于存储的经验训练所述的无人机飞行路径规划模型直至训练次数达到预设值;通过部署训练后的无人机飞行路径规划模型,进行无人机路径规划;
所述步骤一中构建感知场景的过程包括:
获取感知场景的基本元素,确定基本元素的限定条件;获取无人机行为规则,对无人机进行初始化并对无人机能量状态进行等级划分,设置固定位置的兴趣点产生数据的概率与频率,将感知过程划分为若干个等效时隙;其中,所述基本元素包括无人机、无人车、固定位置的兴趣点和障碍物;
所述状态空间包括两个通道,一个通道包括全部障碍物和兴趣点的位置及每个兴趣点在t时刻的数据量,另一个通道包括t时刻无人车和无人机的水平坐标及每架无人机的能量;
每个无人机的所述动作空间包括用于飞行的横坐标增量、纵坐标增量,数据收集时间和充电时间;
所述步骤二中构建奖励函数的过程包括:基于任务完成率、数据收集公平性和数据信息年龄最小化构建奖励函数,构建数据收集公平性公式,基于所述数据收集公平性公式对所述奖励函数进行变形,获得最终奖励函数;
所述步骤三中基于充电模块执行无人机最佳动作的过程包括:
依据当前状态的无人机能量判断无人机能量状态,若无人机能量状态处于警告状态,搜索可供充电无人车,所述可供充电无人车可以到达地图上对应无人机的邻近节点,且所述邻近节点与无人车当前位置的距离不大于充电范围;
将所述邻近节点作为下一可能位置,判断无人车与所述下一可能位置是否存在可达路径,若不存在,则寻找与所述下一可能位置距离最近的点,直至找到可达的距离下一可能位置最近的点;确定下一可能位置后进行位置更新;
进行位置更新过程包括:判断无人车从当前位置到下一位置所需时间是否超出一个时隙,若是,则删除原路径中的最后一个节点,并将下一位置更新为原路径中的最后一个节点;否则计算出无人车t时刻的可供充电时长,结束位置更新过程。
2.根据权利要求1所述的无人车辅助的信息年龄最小化的无人机路径规划方法,其特征在于,所述步骤二中的无人机飞行路径规划模型包括模型更新模块、环境交互模块、内在奖励模块与策略优化模块;所述模型更新模块用于对所述内在奖励模块与所述策略优化模块进行更新;所述环境交互模块用于根据所述策略优化模块的输出与环境交互,将计算得到的梯度与交互经验进行存储。
3.根据权利要求2所述的无人车辅助的信息年龄最小化的无人机路径规划方法,其特征在于,所述内在奖励模块包括目标网络和预测网络;所述策略优化模块包括动作采样网络和价值评估网络;
所述动作采样网络和所述价值评估网络均由1个线性层构成,其中,基于无人机数量获得隐藏层的大小;
所述目标网络和所述预测网络均由池化层、卷积层和线性层构成;其中,卷积层之间均采用Relu激活函数。
4.根据权利要求1所述的无人车辅助的信息年龄最小化的无人机路径规划方法,其特征在于,所述步骤二中,构建总损失函数,基于所述总损失函数对无人机飞行路径规划模型进行训练,其中,总损失函数包括值损失、动作损失、熵损失与内在奖励损失;所述值损失、动作损失、熵损失与内在奖励损失由动作采样网络、价值评估网络、目标网络和预测网络得到。
5.根据权利要求1所述的无人车辅助的信息年龄最小化的无人机路径规划方法,其特征在于,无人机根据无人车t时刻的可供充电时长更新充电时间并执行充电动作;并根据用于飞行、数据收集和充电的总时长和时隙长度计算出数据上传时间,搜索最近的无人车进行数据上传;根据所述奖励函数给出奖励,当前状态根据状态转移函数转变成下一状态,将当前状态、动作、奖励、下一状态存入经验缓冲区。