欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2020110395084
申请人: 南京邮电大学
专利类型:发明专利
专利状态:未下证
专利领域: 飞行器;航空;宇宙航行
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于深度强化学习的卫星消旋方法,其特征在于,包括以下步骤:

S1、标注已知卫星的数据样本建立已知卫星的样本数据集;

S2、利用全卷积神经网络训练样本数据集,使得终端能够了解和识别图像或视频中的已知卫星,得到图像或视频中已知卫星的关键点的置信度图;

S3、跟踪视频中关键点的运动轨迹,通过PNP算法估计已知卫星的位姿;

S4、通过DDPG算法训练最优消旋,使用空间机械臂配备的消旋刷刷航天器帆板侧边完成卫星消旋;

S4中,DDPG分为Actor网络和Critic网络,Actor网络训练最优消旋,Critic网络评价Actor网络选取最优消旋的动作所获得的价值,Actor网络利用Q‑learning算法函数逼近的方法估计值函数,值函数表明当前状态下策略的长期影响能力;

27维信息包括DDPG的状态集合,令空间机械臂中右侧机械臂的每个关节的位置控制集合为DDPG的状态集合,状态集合由空间机械臂的6个关节当前转角、空间机械臂的消旋刷是否触碰到卫星帆板侧边、两侧卫星帆板外角点位置、卫星转速、空间机械臂和卫星是否发生非合理碰撞以及机械臂每个关节位置控制量;

在DDPG算法训练过程中,如果空间机械臂的消旋刷触碰到卫星帆板侧边时赋予奖励值

10,当卫星速度发生变化时以二倍转速差值作为奖励值,当空间机械臂训练时发生非合理碰撞则给予惩罚‑50并结束此轮训练。

2.根据权利要求1所述的一种基于深度强化学习的卫星消旋方法,其特征在于,S1中,在建立已知卫星的样本数据集时,需要从多个视角对已知卫星环形拍照以获得不同角度下已知卫星的图片,反映在不同角度下的已知卫星的外观和已知卫星的形状;在已知卫星上选择特征点,并给特征点打上对应的标签。

3.根据权利要求1所述的一种基于深度强化学习的卫星消旋方法,其特征在于,S2中,在全卷积神经网络对图像进行处理后,设定阈值,在阈值以上的置信度图中搜索局部峰值,然后使用贪婪分配算法选择峰值最大的点作为特征点。

4.根据权利要求1所述的一种基于深度强化学习的卫星消旋方法,其特征在于,S2中,全卷积神经网络采用多级架构来检测关键点,采用FCN全卷积神经网络,FCN全卷积神经网络的前馈网络作为输入,输入一个大小为w×h×3的RGB图像,其中w代表图像的宽度,h代表图像的高度,3代表RGB三个颜色通道,输出结果为特征点的置信度图,每个特征点都会输出一个对应的置信度图。

5.根据权利要求1所述的一种基于深度强化学习的卫星消旋方法,其特征在于,S3中,利用在全卷积神经网络的训练下得到不同帧图像对应关键点的二维坐标,使用PNP算法求解已知卫星的位姿。

6.根据权利要求1所述的一种基于深度强化学习的卫星消旋方法,其特征在于,S4中,获取已知卫星的关键点以及估计与已知卫星的关键点对应的位姿,利用已知卫星的位置信息结合DDPG算法到达空间机械臂的目标位置,使用空间机械臂配备的消旋刷对航天器帆板侧边实现卫星消旋;

DDPG算法的参数设置如下:动作网络的优化学习率设置为0.0001,评论家网络的优化学习率设置为0.001,奖励的折扣率设置为0.99,Soft更新模式下的更新参数设置为0.001,从记忆库中选取记忆序列时最小的批量设置为64;

动作网络和评论家网络选取Adam优化器对网络参数进行迭代优化,动作网络中的噪声采用OU随机噪声;

动作网络的结构为输入状态维数,经过线性层使输入状态维数转化为400,随后用Tanh激励函数激活,再经过线性层使输入状态维数转化为300,用Relu激励函数激活上一层动作网络的输出,使上一层动作网络非线性化,最后再使用线性层使输入状态维数转化为动作的维数值,并用Tanh激励函数激活使动作的维数值限制在‑1到+1之间;

评论家网络的结构为输入状态维数,经过线性层使输入状态维数转化为400,随后用Relu激励函数激活输入状态维数,再把400加上动作维数的个数输入线性层,经过线性层使输入状态维数转化为300,用Relu激励函数激活上一层评论家网络的输出,使上一层评论家网络非线性化,最后再使用线性层使输入状态维数为1;

在对全卷积神经网络进行训练时调用CUDA进行加速。

7.根据权利要求4所述的一种基于深度强化学习的卫星消旋方法,其特征在于,FCN全卷积神经网络分为几个阶段运行,每个阶段不仅考虑图像特征,还考虑前一阶段的输出;

FCN全卷积神经网络预测出关键点连接线的向量场图作为辅助信息,来提高预测精度以及在涉及多个已知卫星的位姿估计时作为关键点归属问题的指征,向量场图与置信度图并行工作,每个阶段再合并到一起作为下一阶段的输入。

8.根据权利要求2所述的一种基于深度强化学习的卫星消旋方法,其特征在于,通过全卷积神经网络获得每张图像中特征点的二维坐标,第k‑1幅图片上的ui的二维坐标以及ui在第k幅图片上的对应点u′i的二维坐标,pi为ui在世界坐标系下对应点的三维坐标,三维坐标通过测量得到,求解第k‑1幅图片到第k幅图片的旋转矩阵和平移量即Tk‑1,k,通过Tk‑1,k恢复物体相对于摄像机的平移和旋转的量,达到估计已知卫星位姿的目的。