欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2023106099861
申请人: 兰州理工大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.扩展目标中基于深度强化学习的传感器管理方法,其特征在于,包括:针对椭圆扩展目标进行建模,并根据扩展目标滤波算法构建与深度强化学习的虚拟交互环境;

建立TD3算法智能体;

将所述虚拟交互环境与所述TD3算法智能体进行交互,获取传感器控制数据,并将所述传感器控制数据作为样本存放至经验回放池;基于所述经验回放池抽取样本,训练所述TD3算法智能体,通过训练后的智能体决策出传感器路径规划最优动作;

将所述最优动作作用于传感器,所述传感器发生状态转移后获得传感器位置,由此获取当前时刻扩展目标传感器量测值,并进行滤波的预测和更新,进行扩展目标的跟踪估计。

2.根据权利要求1所述的扩展目标中基于深度强化学习的传感器管理方法,其特征在于,针对所述椭圆扩展目标进行建模,包括:设定k时刻扩展目标跟踪的状态为:ζk=(xk,Xk),其中,xk表示目标的运动学状态,Xk表示目标的扩展状态;

进行建模的方法为:

其中,wk为零均值高斯过程噪声,vk为零均值高斯量测噪声,xs,k(π)为当前时刻传感器位置, 为系统状态演化映射, 为量测映射,xk+1表示k+1时刻目标运动学状态, 表示k时刻的多个量测值。

3.根据权利要求2所述的扩展目标中基于深度强化学习的传感器管理方法,其特征在于,所述k时刻扩展目标的扩展状态被建模为椭圆形状,用正定对称矩阵Xk描述为:其中,θk为椭圆形状方向角,σk,1和σk,2分别为椭圆形状的长轴和短轴。

4.根据权利要求1所述的扩展目标中基于深度强化学习的传感器管理方法,其特征在于,根据所述扩展目标滤波算法构建与深度强化学习的虚拟交互环境,包括:基于神经网络拟合所述深度强化学习中的价值函数和策略函数,采用深度强化学习算法通过探索与利用机制进行传感器控制,建立智能传感器控制系统,通过所述智能传感器控制系统构建所述虚拟交互环境;所述扩展目标滤波算法包括预测过程和更新过程。

5.根据权利要求4所述的扩展目标中基于深度强化学习的传感器管理方法,其特征在于,所述预测过程为:其中,Fk|k‑1为状态转移矩阵,Id为d维单位矩阵,Pk|k‑1为预测协方差矩阵,Dk|k‑1为零均值高斯过程噪声的协方差矩阵,xk|k‑1为一步预测值,xk‑1|k‑1为k‑1时刻滤波更新值,Pk‑1|k‑1为相应的协方差矩阵。

6.根据权利要求1所述的扩展目标中基于深度强化学习的传感器管理方法,其特征在于,所述TD3算法智能体,包括:Actor网络:用于根据状态选择动作;

目标Actor网络:用于根据所述Actor网络获取的结果再次根据状态选择动作;

Critic网络:用于对所述Actor网络选择的动作进行评价;

目标Critic网络:用于根据所述Critic网络获取的结果再次对所述Actor网络选择的动作进行评价。

7.根据权利要求1所述的扩展目标中基于深度强化学习的传感器管理方法,其特征在于,获取所述传感器控制数据,包括:所述智能体在任一时刻,采取动作并作用于所述虚拟交互环境后,所述传感器从k时刻状态xs,k转移到k+1时刻状态xs,k+1,通过奖励函数进行评价获得奖励值Rk+1,然后所述智能体根据所述奖励值不断改进策略,最终学习到最优策略决策传感器每一时刻的动作。

8.根据权利要求7所述的扩展目标中基于深度强化学习的传感器管理方法,其特征在于,构建所述奖励函数的方法包括:定义扩展目标k时刻先验概率分布和后验概率分布均服从多元高斯分布,获取先验概率分布和后验概率分布之间的高斯瓦瑟斯坦距离,基于所述高斯瓦瑟斯坦距离构建所述奖励函数。

9.根据权利要求8所述的扩展目标中基于深度强化学习的传感器管理方法,其特征在于,所述奖励函数为:else 0

其中,ak,0表示传感器在当前时刻处于静止状态。