1.扩展目标中基于深度强化学习的传感器管理方法,其特征在于,包括:针对椭圆扩展目标进行建模,并根据扩展目标滤波算法构建与深度强化学习的虚拟交互环境;
建立TD3算法智能体;
将所述虚拟交互环境与所述TD3算法智能体进行交互,获取传感器控制数据,并将所述传感器控制数据作为样本存放至经验回放池;基于所述经验回放池抽取样本,训练所述TD3算法智能体,通过训练后的智能体决策出传感器路径规划最优动作;
将所述最优动作作用于传感器,所述传感器发生状态转移后获得传感器位置,由此获取当前时刻扩展目标传感器量测值,并进行滤波的预测和更新,进行扩展目标的跟踪估计。
2.根据权利要求1所述的扩展目标中基于深度强化学习的传感器管理方法,其特征在于,针对所述椭圆扩展目标进行建模,包括:设定k时刻扩展目标跟踪的状态为:ζk=(xk,Xk),其中,xk表示目标的运动学状态,Xk表示目标的扩展状态;
进行建模的方法为:
其中,wk为零均值高斯过程噪声,vk为零均值高斯量测噪声,xs,k(π)为当前时刻传感器位置, 为系统状态演化映射, 为量测映射,xk+1表示k+1时刻目标运动学状态, 表示k时刻的多个量测值。
3.根据权利要求2所述的扩展目标中基于深度强化学习的传感器管理方法,其特征在于,所述k时刻扩展目标的扩展状态被建模为椭圆形状,用正定对称矩阵Xk描述为:其中,θk为椭圆形状方向角,σk,1和σk,2分别为椭圆形状的长轴和短轴。
4.根据权利要求1所述的扩展目标中基于深度强化学习的传感器管理方法,其特征在于,根据所述扩展目标滤波算法构建与深度强化学习的虚拟交互环境,包括:基于神经网络拟合所述深度强化学习中的价值函数和策略函数,采用深度强化学习算法通过探索与利用机制进行传感器控制,建立智能传感器控制系统,通过所述智能传感器控制系统构建所述虚拟交互环境;所述扩展目标滤波算法包括预测过程和更新过程。
5.根据权利要求4所述的扩展目标中基于深度强化学习的传感器管理方法,其特征在于,所述预测过程为:其中,Fk|k‑1为状态转移矩阵,Id为d维单位矩阵,Pk|k‑1为预测协方差矩阵,Dk|k‑1为零均值高斯过程噪声的协方差矩阵,xk|k‑1为一步预测值,xk‑1|k‑1为k‑1时刻滤波更新值,Pk‑1|k‑1为相应的协方差矩阵。
6.根据权利要求1所述的扩展目标中基于深度强化学习的传感器管理方法,其特征在于,所述TD3算法智能体,包括:Actor网络:用于根据状态选择动作;
目标Actor网络:用于根据所述Actor网络获取的结果再次根据状态选择动作;
Critic网络:用于对所述Actor网络选择的动作进行评价;
目标Critic网络:用于根据所述Critic网络获取的结果再次对所述Actor网络选择的动作进行评价。
7.根据权利要求1所述的扩展目标中基于深度强化学习的传感器管理方法,其特征在于,获取所述传感器控制数据,包括:所述智能体在任一时刻,采取动作并作用于所述虚拟交互环境后,所述传感器从k时刻状态xs,k转移到k+1时刻状态xs,k+1,通过奖励函数进行评价获得奖励值Rk+1,然后所述智能体根据所述奖励值不断改进策略,最终学习到最优策略决策传感器每一时刻的动作。
8.根据权利要求7所述的扩展目标中基于深度强化学习的传感器管理方法,其特征在于,构建所述奖励函数的方法包括:定义扩展目标k时刻先验概率分布和后验概率分布均服从多元高斯分布,获取先验概率分布和后验概率分布之间的高斯瓦瑟斯坦距离,基于所述高斯瓦瑟斯坦距离构建所述奖励函数。
9.根据权利要求8所述的扩展目标中基于深度强化学习的传感器管理方法,其特征在于,所述奖励函数为:else 0
其中,ak,0表示传感器在当前时刻处于静止状态。