1.一种基于多智能体图强化学习的无人机避障方法,其特征在于,包括如下步骤:步骤1、系统初始化与离线训练:构建UAV辅助无线通信系统,包括多个UAV、移动终端和动态障碍物,将UAV与移动终端之间的信道链路建模为概率模型;
UAV搭载基站在目标区域内飞行,为终端用户提供通信服务,实时采集环境信息,包括终端位置、链路状态及障碍物分布,并基于获取的数据动态调整自身三维飞行轨迹及通信策略;
所述概率模型结合了视距和非视距链路,UAV到移动终端的信道增益表示为:;
其中,表示信道功率增益,是路径损耗指数,表示时隙下UAV和移动终端之间的距离,表示Rician因子;表示视距组件,表示UAV和移动终端之间的非视距信道系数,为UAV时隙下的位置,为移动终端在时隙下的位置;
步骤2、将UAV避障与通信优化任务建模为POMDP,对UAV、移动终端与障碍物之间的交互关系进行联合建模与优化,包括:引入多智能体图强化学习方法,根据POMDP构建异构图,表征UAV、障碍物和移动终端之间的交互关系,使用图注意网络进行状态编码;
引入MASAC算法框架,进行协同训练,通过集中式训练与分布式执行的机制对异构图进行学习,动态优化UAV的通信策略与飞行轨迹;
将通信速率和最大化问题建模为POMDP模型,将每个UAV作为一个智能体,状态空间表示为;每个智能体的局部观测空间为,动作空间为,表示时隙集合;
所述观测空间中,UAV的总观测值为:
;
其中,为UAV的局部观测,包括UAV位置、飞行速度和剩余能量;为UAV获取的感知区域内其他UAV的观测;为移动终端的观测,包括移动终端的位置、终端是否与当前UAV关联以及是否与其他UAV的关联内;为障碍物的观测,包括障碍物的坐标、边长向量和高度;
所述动作空间,通过连续控制动作调整UAV轨迹,在时隙,UAV的动作包括在三维空间中的加速度及功率分配,表示为;表示用户集合;
所述MASAC算法框架,处理如下:
智能体在每个时隙与环境进行交互,UAV依据当前环境状态获得局部观测,表示成图,输入至Actor网络;
Actor网络基于当前图表示输出动作,UAV根据动作与环境交互,环境根据智能体的动作返回奖励和下一时刻的局部观测,表示成图,将存入经验回放池;
从经验回放池中随机采样经验数据,输入Critic网络和Actor网络中,通过Critic网络评估状态-动作对的值函数,输出,表示在观测下执行动作期望的累积回报;
所述Actor网络通过最大化Q值和动作分布的对数似然函数更新参数,使智能体在给定状态下选择的动作获得更高的期望回报;
步骤3、在每个决策时隙,UAV根据自身状态、移动终端状态以及障碍物状态,确定当前最优策略,包括:基于当前环境状态,联合调整UAV的飞行轨迹、发射功率以及UAV与移动终端之间的关联关系,最大化系统通信速率之和并保障安全通信;并依据最优策略执行下一步动作,完成避障。
2.根据权利要求1所述的无人机避障方法,其特征在于,步骤1中,所述UAV辅助无线通信系统,包括:个UAV,个移动终端以及个稀疏分布且互不重叠的障碍物;
所述移动终端和障碍物在地面上随机移动,整个任务持续时间为,均分为个时隙,每个时隙的长度为;同一时隙,每个UAV同时服务多个终端用户,每个终端用户只与一架UAV关联;每一个时隙内,UAV、移动终端、障碍物为静态;
UAV时隙下的位置为,坐标为;移动终端在时隙下的位置为,坐标为;
UAV位置更新遵循:;其中,为UAV在时隙下的位置;表示UAV在时隙时的速度;表示UAV在时隙时的加速度;表示每个时隙的长度;
任意两架UAV位置之间满足:;其中,为无人机的位置,预先设定的最小安全距离;
障碍物中心位置为,高度为;障碍物中心到边长的距离向量为;
当时,不考虑UAV水平位置约束;当时,UAV满足约束:;其中,表示UAV的水平坐标位置,符号表示对向量中的每个分量比较大小。
3.根据权利要求2所述的无人机避障方法,其特征在于,步骤1中,所述UAV辅助无线通信系统,通信速率之和为:;
其中,表示在时隙的通信速率之和,表示关联决策;为UAV到移动终端的数据传输速率,表示为:;
其中,表示UAV的功率分配,表示信道带宽表示噪声。
4.根据权利要求3所述的无人机避障方法,其特征在于,步骤2中,所述POMDP模型中,每个UAV代理计算最终奖励函数,并在最终奖励函数中引入惩罚机制:;
其中,表示UAV在时隙时犯下的错误次数,错误分为四种类型:越界、电池能量耗尽、违反安全距离和与障碍物发生碰撞,每当代理违反惩罚机制时受到固定大小的惩罚。
5.根据权利要求1所述的无人机避障方法,其特征在于,步骤2中,构建异构图表示网络环境信息;
其中,表示边集合;表示顶点集合,包含:UAV顶点集合、移动终端顶点集合和障碍物顶点集合,记为;
根据UAV及网络实体之间的感知关系,在异构图中定义三条元路径:UAV到UAV、移动终端到UAV、障碍物到UAV;每条路径表示为,其中,是源顶点,是目标顶点,且,;
边表示UAV位于UAV的感知范围内;边表示移动终端位于UAV的感知范围内;边表示障碍物位于UAV的感知范围内;
将每个UAV智能体在时隙的观测值转换为异构图表示,分解为包含三条元路径的单向二分图,分别记为子图、和,输入图特征编码模块。
6.根据权利要求5所述的无人机避障方法,其特征在于,步骤2中,所述图特征编码模块,通过引入注意力机制,自适应捕捉UAV和其他UAV、移动终端或障碍物之间的潜在关系;
子图的输出特征表示为:
;
其中,是UAV顶点和移动终端顶点之间的注意力值,为softmax函数,用于对注意力系数进行归一化处理;是可学习的权重矩阵,是移动终端的特征向量;表示点积;
子图和的输出特征分别为和,通过多层感知机对,和进行线性变换,生成图特征编码模块的最终输出特征。
7.根据权利要求6所述的无人机避障方法,其特征在于,步骤2中,所述MASAC算法框架中,Critic网络的目标是通过最小化时间差分损失误差更新参数,损失函数定义为:;
其中,表示期望,是折扣因子,是目标Critic网络,是由当前Actor网络生成的下一个动作;
Actor网络的目标函数为:
;
其中,是温度系数,用于平衡探索与利用;表示Actor网络的策略;
对目标Critic网络和目标Actor网络进行软更新,保持训练稳定性,目标网络的更新公式为:;
其中,是软更新的速率,和表示更新前后的目标网络。