欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2024114608336
申请人: 河海大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于DRL多UAV大坝日常巡检的覆盖路径规划方法,其特征在于,包括以下步骤:

(1)问题形式化:将多UAV覆盖路径规划问题定义为了一个优化问题,其中包含多UAV的能耗以及覆盖率2个优化目标;

(2)建立模型:将多UAV覆盖路径规划问题建模为一个马尔可夫随机过程,基于马尔可夫随机过程的特点,提出了EA-MATD3模型来解决多UAV覆盖路径规划问题;EA-MATD3采用基于MATD3的集中训练分散执行机制,引入双Q网络和策略平滑技术,使用堆叠LSTM处理时间序列数据,通过分析时间序列数据降低重复路径;

所述EA-MATD3模型包含是MATD3网络和堆叠LSTM网络:

MATD3网络中,引入高斯噪声进行动作探索;通过确定性策略生成一个噪声向量,然后将其乘以可学习参数并添加到所选动作中,高斯噪声使用裁剪函数将其限制在设定范围内;

堆叠LSTM网络为二层LSTM网络,捕捉UAV在巡检过程中与环境交互中获得的经验,将UAV的位置、速度和方向作为第一个LSTM层的输入;然后,将第一层的输出以及UAV在前一个时间步获得的奖励和动作作为第二个LSTM层的输入;最后,将堆叠LSTM网络的输出与MATD3网络中的观测向量相结合,得到UAV的状态表示。

2.根据权利要求1所述的基于DRL多UAV大坝日常巡检的覆盖路径规划方法,其特征在于,所述MATD3网络中的Q函数更新公式为其中,表示UAVi评论家网络的损失函数,表示期望值,元组(s,a,ri,s′)表示UAV的状态、动作、奖励以及下一时刻的状态,表示经验重放缓冲区,yi为更新评论家网络的目标值,代表MATD3算法的TD目标,Q(s,a;θ-)代表Q值;

所述MATD3算法使用目标评论家网络计算TD目标yt=rt+γQ′(st+1,μ′(st+1∣θμ′)∣θQ′)其中,rt代表在时间步t的奖励值,γ代表折现因子,Q′(st+1,μ′(st+1∣θμ′)∣θQ′)代表目标Q值;为了提高探索性能和加速收敛速度,引入了高斯噪声进行动作探索,具体而言,通过确定性策略μ(s∣θμ)生成一个高斯噪声∈,然后将其乘以可学习参数σ并添加到所选动作中,即:a=μ(s∣θμ)+∈,∈~N(0,σ2);因此,有噪声的Q值表示为Q(st,at∣θQ)+∈,其中θQ表示评论家网络的参数,st和at分别表示时间步t的状态和动作;TD目标yt表示为:yt=rt+γQ′(st+1,μ′(st+1∣θμ′)∣θQ′)+clip(∈,-c,c);其中clip(∈,-c,c)表示裁剪函数,∈代表高斯噪声,[-c,c]表示高斯噪声的范围。

3.一种计算机设备,其特征在于:该计算机设备包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行上述计算机程序时实现如权利要求1-2中任一项所述的基于DRL多UAV大坝日常巡检的覆盖路径规划方法。

4.一种计算机可读存储介质,其特征在于:该计算机可读存储介质存储有执行如权利要求1-2中任一项所述的基于DRL多UAV大坝日常巡检的覆盖路径规划方法的计算机程序。