欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023108690663
申请人: 安徽大学
专利类型:发明专利
专利状态:已下证
专利领域: 测量;测试
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.基于D3QN的智能体追逐移动UAV的路径规划方法,其特征在于,包括:构建模拟智能体追逐移动UAV的2d仿真环境,设计包括智能体状态和移动UAV状态的环境状态空间;

根据2d仿真环境,构建基于深度强化学习的D3QN主干网络,所述D3QN主干网络的输入为环境状态空间,所述D3QN主干网络的输出为智能体的前进速度和前进角度的动作组合所对应的Q值;

在D3QN主干网络训练时,使用多步更新来更新当前环境状态空间的Q函数;

在D3QN主干网络训练时,基于后见经验回放技术存储智能体捕获移动UAV的经验样本至经验缓存池,并从经验缓存池中随机抽取经验样本进行网络训练,所述智能体捕获移动UAV的经验样本包括智能体未捕获到移动UAV时的经验样本;

使用传感器获取现实的环境状态空间并将其输入训练好的D3QN主干网络,智能体根据训练好的D3QN主干网络的输出选择动作并执行。

2.如权利要求1所述的基于D3QN的智能体追逐移动UAV的路径规划方法,其特征在于:所述2d仿真环境为可扩展为无限大的2d地图,所述2d地图中不存在障碍物,只存在追捕用的智能体以及移动UAV;所述移动UAV的初始生成位置标记为坐标原点,以从移动UAV到智能体的方向为正方向。

3.如权利要求1所述的基于D3QN的智能体追逐移动UAV的路径规划方法,其特征在于:所述智能体的前进速度为离散动作,从集合{5m/s,10m/s}中选取;所述智能体的前进角度为离散状态空间,从集合 中选取;所述智能体的捕获范围为以自身为圆心、半径为25m且弧度为 的扇形区域,当移动UAV出现在扇形区域内,则视为捕获成功。

4.如权利要求1所述的基于D3QN的智能体追逐移动UAV的路径规划方法,其特征在于:所述环境状态空间为多维向量,包括智能体的前进方向和坐标位置以及移动UAV的前进方向和坐标位置。

5.如权利要求4所述的基于D3QN的智能体追逐移动UAV的路径规划方法,其特征在于:所述D3QN主干网络的输入为环境状态空间所提供的多维向量,D3QN主干网络共有4个隐藏层,前3个隐藏层的维度都是128维,第4个隐藏层输出V函数并计算当前环境状态空间下的动作优势函数,通过将V函数和动作优势函数组合成Q函数,D3QN主干网络的输出为智能体的前进速度和前进角度的动作组合所对应的Q值。

6.如权利要求5所述的基于D3QN的智能体追逐移动UAV的路径规划方法,其特征在于:所述动作优势函数如下:

A(st,at)=A(st,at;θ)‑1/|A|*∑Q(st,at′;θ),所述V函数如下:

V(st)=1/|A|*∑Q(st,at;θ),

所述Q函数如下:

Q(st,at;θ)=V(st)+A(st,at),

式中,A(st,at)为动作优势函数,表示在状态st下采取动作at的优势;A(st,at;θ)表示通过在线Q网络参数θ计算的在当前状态st下采取动作at的动作优势函数;|A|表示动作空间的大小;Q(st,at′;θ)表示在当前状态st下,使用在线Q网络参数θ计算的采取动作at′的状态‑动作价值函数,at′表示在t时刻下一个状态st+1下选择的具有最高Q值的动作;V(st)为V函数,估计状态st的值;Q(st,at;θ)表示在当前状态st下,表示使用在线Q网络参数θ计算的采取动作at的Q函数。

7.如权利要求1所述的基于D3QN的智能体追逐移动UAV的路径规划方法,其特征在于:所述使用多步更新来更新当前环境状态空间的Q函数,具体为:

使用多步更新的贝尔曼方程来更新Q函数:

Q(st,at)←Q(st,at)+α*(Gt:t+n‑Q(st,at)),式中,Q(st,at)表示时间步t在状态st下采取动作at的Q函数,α是学习率,Gt:t+n表示未来n个时间步的累积回报,计算为:n‑1 n

Gt:t+n=rt+1+γ*rt+2+…+γ *rt+n+γ*maxaQ(st+n,at+n),式中,rt+1到rt+n表示从时间步t+1到t+n智能体依次观察到的奖励,γ是折扣因子。

8.如权利要求4所述的基于D3QN的智能体追逐移动UAV的路径规划方法,其特征在于:所述基于后见经验回放技术存储智能体捕获移动UAV的经验样本至经验缓存池,具体为:基于后见经验回放技术,在每个回合中采集经验样本S1,...,ST,每一个经验样本以(st,at,rt,st+1)的形式存储到经验缓存池中;其中,T表示样本数量,st、at和rt分别表示时间步t的状态、执行的动作和获得的奖励,st+1表示时间步t+1的状态;每个回合包括环境状态空间输入D3QN主干网络,D3QN主干网络输出动作组合所对应的Q值,智能体执行Q值最大值所对应的动作的过程;

当智能体未捕获到移动UAV时,将捕获失败时智能体的前进方向和坐标位置作为移动UAV的前进方向和坐标位置,并输入D3QN主干网络,D3QN主干网络输出动作组合所对应的Q值,选择Q值最大值所对应的动作并计算获得的奖励,存储到经验缓存池中。