1.一种基于序列生成对抗网络无人机飞行路径规划方法,其特征在于,包括:步骤1:利用现实开放街道地图转化为三维城市模型,使用圆柱体构建禁飞区,以组建三维网格地图;其中,三维网格地图中保存建筑物数据;
步骤2:使用路径规划算法在三维网格地图上生成若干条路径作为数据集并进行数据清理,包括:逐点检查路径是否到达目标以及与地图中障碍物是否碰撞筛并且选出无碰撞且达到目标的路径;
步骤3:构建无人机的状态空间、动作空间、环境风场效应建模以及无人机能量消耗建模;
步骤4:将步骤2中清洗后数据集中的路径作为正样本,并且对数据集进行扩展构建负样本;将正样本转化为状态动作序列输入至生成器,将正负样本路径序列输入判别器;
步骤5:基于所述生成器和判别器进行对抗训练;
其中,生成器获得当前局部地图、状态、目标位置以及随机噪声并预测无人机的下一步动作以及动作参数,经过蒙特卡洛搜索后生成从起点到终点的完整路径;所述经过蒙特卡洛搜索后生成从起点到终点的完整路径包括:所述蒙特卡洛搜索利用生成器的输出引导搜索迭代,通过节点的初始化,以及选择、扩展、模拟、回溯四个迭代阶段构建搜索树,最终选择从起点到终点的最优避障路径;节点存储环境状态包括障碍物信息、位置、速度、目标、路径长度;节点关系包括父节点、子节点映射;决策历史包括执行动作序列;统计信息包括访问次数、累积奖励;动作空间包括先验概率分布、参数化动作;
所述选择包括:从根节点开始,递归选择子节点,直到到达一个未完全展开的可扩展的节点,使用改进后的置信区间上界UCB公式平衡探索和利用:其中,是子节点的累计奖励值,是子节点的访问次数, 是当前节点的访问次数,是生成器给出的在状态下选择动作的先验概率,c为探索权重;
所述扩展包括:当选择到一个未完全展开的节点时,为其添加一个或多个子节点,使用生成器生成当前节点的动作概率和参数,扩展概率最高的前K个动作;同时,结合目标方向和安全距离对动作进行排序;在每个节点扩展后会进行节点有效性验证,如果当前节点或下一节点与障碍物碰撞、超出最长路径限制、动力学违规、当前位置与障碍物小于安全距离以及超出地图界限则会判断为失效并不再进行节点扩展;
所述模拟包括:从有效的扩展的节点开始,模拟执行一系列动作直到终止状态,并计算模拟的奖励值节点终止状态有到达目标、碰撞、动力学违规、超出边界;
所述回溯包括:将模拟得到的奖励值回溯更新到路径上的所有节点,从模拟结束的节点开始,向上回溯至根节点,更新每个节点的访问次数和累积奖励,增量更新节点价值,避免存储所有历史数据,更新公式为:其中,是节点s的累计奖励期望值,是本次模拟获得的奖励值,是节点s的访问次数;并且访问次数递增;
经过判别器评判路径的质量分数,生成路径序列与路径信息存入经验回放池,经验回放池存储生成的路径,并根据路径质量优先级采样提高训练效率,经验回放池中每个样本包括路径点序列、状态序列、动作序列、地图数据、起始点、目标点和路径质量评分;当经验回放区中路径数量达到一定数值后开始进行生成器与判别器的所述对抗训练。
2.根据权利要求1所述的基于序列生成对抗网络无人机飞行路径规划方法,其特征在于,步骤3包括如下步骤:步骤31:构建无人机的状态空间包括:无人机的空间状态包含无人机在三维空间中的位置坐标和无人机在三个坐标轴方向上的速度分量,以将无人机的空间状态定义为6维向量:;
步骤32:构建无人机的动作空间包括:
所述无人机包含七个基本离散动作:,以及三个连续控制参数:,其中代表速度缩放系数、代表偏航角、代表俯仰角;
步骤33:构建环境风场效应建模包括:
将风场数据存储在三维网格中,每个网格点包含一个三维风向量;其中,风场的生成基于场景中的障碍物,对于每个障碍物计算其周围区域的风场,包括风洞效应以及湍流效应两种效应;
S34、构建无人机能量消耗模型包括:获得位移基础能耗,其中,位移基础能耗包括水平位移和垂直位移两部分;
水平位移能耗通过计算起点和终点之间的水平距离乘以水平能耗系数得到;
垂直位移能耗通过计算起点和终点之间的高度差绝对值乘以垂直能耗系数得到,垂直位移能耗的计算公式定义为:,其中,和分别为垂直位移以及水平位移, 和 分别为水平和垂直位移的能耗系数。
3.根据权利要求2所述的基于序列生成对抗网络无人机飞行路径规划方法,其特征在于,当环境中存在风场时,在无人机能量消耗模型中引入风场数据包括:从占用的网格中获取预计算的风场数据,包括起点和终点位置的风速向量,并取平均作为整个飞行段的风速近似,平均风速减去无人机的当前速度,得到相对风速;
计算相对风速在飞行方向上的投影分量,如果该分量为正,表示逆风;为负则表示顺风,使用迎风分量的平方乘以飞行距离,再乘以风阻系数得到,公式定义为:;
其中,为相对风速在飞行方向上的逆风分量,即与飞行方向相反的投影分量,为风阻能耗系数,为飞行距离。
4.根据权利要求2所述的基于序列生成对抗网络无人机飞行路径规划方法,其特征在于,所述步骤4包括:S41、将清洗后的数据集作为正样本,将数据集中路径序列通过增加碰撞点,延长路径长度,在增加碰撞点后通过添加随机噪声扩展得到负样本,生成正负样本均衡的数据集;
S42、对所述正样本进行处理,将路径点序列等间隔采样,接着通过相邻路径点的位移和动态调整的时间间隔计算速度,当两点距离过远时,调整时间间隔使速度合理;依次计算每个时刻的空间状态的6维向量,接着通过速度方向与预设动作的点积匹配确定动作序列,从而将路径数据转化为对应的动作序列:其中,是t时刻的动作,A是动作空间,为动作方向分量,是经过时间,基于动作空间获得,为t时刻的位置;
S43、将处理后的状态-动作序列输入生成器,生成器接收当前数据中的局部地图、当前状态、目标点位置以及噪声向量,输出动作类型概率预测以及动作参数的预测;
S44、将正负样本输入判别器,判别器接收路径序列、目标位置、三维地图,输出对路径质量的总评分以及多维度详细评分,包括是否碰撞、是否符合动力学约束、是否达到目标、安全性、平滑度、能量消耗六个维度评分。
5.根据权利要求4所述的基于序列生成对抗网络无人机飞行路径规划方法,其特征在于,所述生成器网络使用双向长短期记忆网络并融合了三维空间注意力机制与多模态特征编码,涵盖噪声编码和四路特征编码分支包括:状态编码、目标编码、几何关系编码以及三维地图编码;其中:噪声编码器将 32 维随机噪声通过两层全连接网络编码为 128 维特征;
状态编码器采用了三层全连接网络,将空间状态的 6 维状态向量编码为 128 维特征向量;
目标编码器采用三层全连接网络,将目标位置的坐标对应的三维向量编码为128维特征向量,并且使用多头注意力机制增强目标特征表示;
几何关系编码器输入的 9 维几何特征,所述9 维几何特征包括三维位置差异 3 维向量、一维水平距离向量、三维方向向量以及二维角度向量,通过三层全连接网络编码为128维特征;
地图编码器使用三维卷积并行计算宽度、高度、深度三层维度的注意力,并且添加特征增强模块将三维卷积分解为XY、YZ、XZ三个正交平面的二维卷积,第一层为3D 卷积包含三维空间注意力模块,第二层为XY 平面卷积与Z 轴卷积,第三层为3D卷积,还包含特征增强模块,接着是全连接层,将扁平化特征映射为 128 维特征向量;
将路径转化为状态动作序列后投入生成器,预训练使用监督学习使得生成器学会面对当前障碍物时该如何进行动作选择,包括共七个动作,并且为每个动作预测一个概率,动作类型损失函数定义为:其中N是批量大小,C是动作类别数量,为第i个样本的第c个类别的真实标签,是第i个样本的第c个类别的预测概率;
动作参数损失函数定义为:
其中N是批量大小,是当前样本i生成器预测的动作参数向量,是当前样本i的目标参数向量。
6.根据权利要求5所述的基于序列生成对抗网络无人机飞行路径规划方法,其特征在于,判别器网络接收路径序列、目标位置、三维地图,输出7维向量中第 1 维为总评分,后6维为专项评分;
所述判别器网络为多模态融合的深度学习模型,所述多模态融合包含三层特征编码分支,分别为路径序列编码、环境地图编码、目标编码,并通过双向长短期记忆网络获得时序特征;
路径编码器将路径序列中的每个状态向量经过三层全连接神经网络结构编码为高维特征表示,路径编码器输出的序列特征输入双向长短期记忆网络整合路径中各状态的上下文信息,选择长短期记忆网络中最后一个时间步的输出作为序列整体表征;
目标编码器通过两次线性变换将3维目标坐标映射到与路径特征相同维度的特征空间,接着将路径编码特征、地图编码特征和目标编码特征进行拼接融合,再经过三层全连接层网络输出六个维度的评分值;
将数据集中的路径经过规则判别器生成详细的评分包括上述六个维度,并用规则判别器的评分作为监督信号;其中,判别器网络的预训练采用多任务损失函数,包含两个监督目标,当使用六个维度详细评分作为监督信号时,损失函数计算判别器输出的详细评分与基于规则的判别器评分之间的均方误差,当使用二分类标签作为监督信号时,损失函数计算六个维度输出的总分与真实标签之间的均方误差,损失函数L具体定义如下:其中,为批次样本数量,为判别器输出的当前样本i的第j个维度的评分,为规则判别器给出当前样本i的第j个维度的评分,为判别器输出的当前样本i的总分,为二分类标签真值,为任务权重系数,是六个维度评分的损失函数,为路径总分的损失函数,经过训练的判别器网络可以初步判别路径质量并为路径评分。
7.根据权利要求6所述的基于序列生成对抗网络无人机飞行路径规划方法,其特征在于,在所述步骤5中,判别器的对抗训练基于质量感知,判别器的完整损失函数包括真实样本的焦点损失、生成样本的焦点损失、对比损失和L2正则化项;判别器的损失函数定义如下:其中,是真实样本的焦点损失,是生成样本的焦点损失,是对比损失的权重参数,是L2正则化的系数,是对比损失,是L2正则化损失;
真实样本的焦点损失公式如下:
其中为真实样本的二元交叉熵损失,为焦点损失参数,e是自然常数;
生成样本的焦点损失公式如下:
,
其中为生成路径的二元交叉熵损失;
对比损失要求高质量样本的得分比低质量样本的得分至少高0.6,公式如下:其中,H是高质量样本集合,L是低质量样本集合,是高质量样本的判别器输出,是低质量样本的判别器输出, h为当前高质量样本,l为当前低质量样本;
L2正则化损失公式如下:,其中是判别器第k个参数矩阵,是正则化强度。
8.根据权利要求7所述的基于序列生成对抗网络无人机飞行路径规划方法,其特征在于,所述步骤5还包括:生成器从经验回放池中采样一批生成路径,并使用判别器评估路径的质量作为奖励信号,使用它计算策略梯度来更新生成器,生成器更新的损失函数包括动作概率的策略梯度、动作参数的策略梯度损失、熵正则化项;具体公式定义如下:,其中为动作参数损失的权重;
动作概率的策略梯度损失为:,其中是生成器在状态选择动作的概率,是当前样本i的优势函数,N为批次大小;
动作参数的策略梯度损失为:,其中是生成器预测的当前样本i的动作参数,是当前样本i实际使用的动作参数,N为批次大小;
熵正则化项为:,其中是熵正则化系数,为当前样本i的动作,为当前样本i的状态;
其中,优势函数为当前动作获得的奖励与基线奖励的差值。
9.根据权利要求8所述的基于序列生成对抗网络无人机飞行路径规划方法,其特征在于,所述蒙特卡洛搜索的节点属性设置了包含障碍物信息、位置、速度、目标、路径长度的环境状态、执行动作的决策历史、拥有父节点、子节点映射的节点关系及访问次数、累积奖励的统计信息,并引入了动作先验概率和参数化动作空间,通过生成器提供动作以及动作参数采样指导;
并且,基于无人机路径规划模型,生成器逐步预测每个位置的无人机的下一步动作以及速度分量,不断更新无人机的位置。
10.根据权利要求9所述的基于序列生成对抗网络无人机飞行路径规划方法,其特征在于,还包括在蒙特卡洛搜索过程中的奖励设置:设置目标奖励:当无人机到达目标点附近,距离小于1单位时,给予一个高额的正奖励,同时,为了鼓励生成更短的路径,在这个正奖励中引入了路径长度惩罚,因此,实际目标奖励为:其中,为路径长度惩罚;
设置目标引导奖励,当无人机越靠近目标,获得越高奖励:
为无人机与目标距离;
设置路径平滑性奖励,用于鼓励生成平滑路径,计算当前、父状态、祖父状态连续三个位置点形成的两个方向向量之间的夹角余弦值,该奖励在路径方向变化平缓时达到最大,表示为:设置碰撞与边界约束惩罚,如果无人机与障碍物发生碰撞,则给予-500的惩罚,如果无人机超出预设的边界,同样给予-500的惩罚;
设置路径质量惩罚,为避免不必要的垂直运动,计算相邻状态间的高度变化绝对值,乘以惩罚系数:为t时刻高度值,为t的上一时刻高度值;
计算相邻状态间的能量消耗,乘以惩罚系数:
为能量消耗;
在未到达目标时,路径长度惩罚系数随距离目标远近动态调整,距离越近,惩罚系数越大:在未到达目标且未发生碰撞/越界时,总奖励为:
。