欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022104689408
申请人: 广东工业大学
专利类型:发明专利
专利状态:已下证
专利领域: 控制;调节
更新日期:2026-01-27
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于多无人机辅助数据收集的路径规划方法,其特征在于,包括以下步骤:

S1:在目标区域内用户被分为若干集群,用户坐标在集群中随机产生,集群中有若干用户,且用户随机运动但并不会超过区域边界;

S2:无人机和用户的通信通道由时限链接主导,使用多无人机在无模型的情况下进行动态规划;

S3:使用Dueling-DDQN算法优化无人机轨迹从而最大化用户覆盖;

在步骤S1中,在目标区域内,用户被分为M个集群,每个集群相当于半径为R的圆,用户的坐标在这些圆内随机生成,每个集群内有K个用户,时间步长t时第k个用户在第m个集群中的位置为同时用户以低于最大速度v进行随机移动,但不会超出目标区域边界,即和在步骤S2中,无人机和用户之间的通信通道由时限链接主导,时间步长t时,第m个集群中第k个用户到第一个无人机的距离为:在时间步长t时,无人机的三维坐标定义为H表示无人机飞行高度,第一个无人机与第m个集群中的第k个用户之间的信道遵循自由空间路径损耗模型,表示为其中β0表示信道在参考距离d=1m时的功率增益;

在多无人机数据收集系统下,由于两个无人机都会受到终点位置、无人机覆盖范围、吞吐量阈值、步数惩罚以及边界约束,通过优化两个无人机轨迹,实现用户覆盖最大化,得到目标问题如下:s.tRfinal1=Xtarget,

dm,k≤dcons,

Rm,k≥rmin,

P(m,k)={0,1},

0≤X(t)≤Xmax,

0≤Y(t)≤Ymax,

距离约束dcons表示被服务用户与无人机的直线距离,Xnow,Xnow1,Xnow2和Xtarget分别表示单无人机数据收集系统下无人机的目前位置、多无人机数据收集系统下两个无人机的目前位置以及终点位置;若无人机触碰边界,将受到边界惩罚Rbp=-100,同时定义Rsp=-1000为步数惩罚,无人机每多走一步都将会受到一个负奖励,无人机只能在规定的区域飞行,即0≤X(t)≤Xmax和0≤Y(t)≤Ymax,其中Xmax和Ymax为该区域的长度和宽度,X(t),Y(t)分别表示无人机的当前位置的横坐标和纵坐标,在多无人机数据收集系统下只有两个无人机都到达终点才能获得终点奖励Rfinal2,Rm,k表示集群m中的第k个用户在T时间步长时到无人机的总吞吐量。

2.根据权利要求1所述的一种基于多无人机辅助数据收集的路径规划方法,其特征在于,在步骤S3中,当用户满足距离约束并处于无人机覆盖范围内时,第m个集群中的第k个用户在t时刻到无人机的实现吞吐量,定义如下:若同时处于多个无人机的重叠的覆盖范围内,则此用户在t时刻的吞吐量是分别与两个无人机通信产生的吞吐量之和,其中B和α2分别是带宽和噪声功率,集群m中的第k个用户在T时间步长时到无人机的总吞吐量为:

3.根据权利要求1所述的一种基于多无人机辅助数据收集的路径规划方法,其特征在于,所述步骤S3中的Dueling-DDQN算法,其每一幕无人机从起点出发,到达目的地结束。

4.根据权利要求3所述的一种基于多无人机辅助数据收集的路径规划方法,其特征在于,在训练阶段,每一幕开始之前先初始化无人机的起点位置和终点位置,以及随机初始化M*K个用户的位置;在每个时间步长t,无人机根据观测的状态信息st输出动作a(t),即无人机的飞行方向,此时若用户处于无人机的覆盖范围以内,智能体将分别计算与每个用户通信的吞吐量,并一直累积到一步,直到Rm,k≥rmin,若无人机的下一个位置超出规定区域则取消该飞行动作;根据动作得到相应的回报rt和下一时刻的状态信息st+1,将[st,at,rt,st+1]储存在经验缓冲区buffer,在每一时刻结束时从经验缓冲区中随机采样N组经验进行网络参数的更新。

5.根据权利要求4所述的一种基于多无人机辅助数据收集的路径规划方法,其特征在于,所述Dueling-DDQN算法是一种迭代求解贝尔曼方程的无模型强化学习算法,其状态动作价值函数为:其中表示智能体在状态s采取动作a后转移到状态s'的概率,π(·)表示智能体的选择策略。

6.根据权利要求5所述的一种基于多无人机辅助数据收集的路径规划方法,其特征在于,所述Dueling-DDQN算法设置有带有参数θ-的目标网络Q2(s',amax;θ-)和带有参数θ的估计网络Q1(s',a;θ),其目标网络是估计网络的复制,目标网络的参数θ-更新频率慢于估计网络。

7.根据权利要求6所述的一种基于多无人机辅助数据收集的路径规划方法,其特征在于,所述Dueling-DDQN算法也设置了经验缓冲区,当前状态-动作-奖励-下个状态存储到经验缓冲区中,稍后随机访问以进行权重更新。