1.一种基于深度强化学习的卫星抓取方法,其特征在于,包括:
获取卫星对接环的RGB图片并标注卫星样本数据库;
利用预先构建的卷积神经网络处理获取到的卫星对接环的RGB图片,得到对接环图像中的关键点的置信度图;
利用PnP算法对关键点置信度图进行求解,得到卫星对接环的位姿参数;将卫星样本数据库数据输入特征融合网络,得到卫星对接环的识别分割结果;
将卫星对接环的识别分割结果和卫星对接环的位姿参数输入预先训练好的深度强化学习算法输出空间机械臂的最优抓取方案,响应于最优抓取方案,空间机械臂准确抓取卫星对接环;其中,所述深度强化学习算法包括用于训练最优抓取的Actor网络和用于评价所述Actor网络选取最优抓取的动作所获得价值的Critic网络,所述Actor网络和Critic网络选取Adam优化器对网络参数进行迭代优化,调用CUDA架构加速迭代优化;
所述深度强化学习算法输出空间机械臂的最优抓取方案,包括:
步骤1:初始化现实Actor网络和现实Critic网络,将现实Actor网络的参数和现实Critic网络的参数复制到目标Actor网络和目标Critic网络;
步骤2:输入状态S到现实Actor网络得到动作a,对此时机械臂施加动作a,环境返回下一时刻的状态s’和奖励r,得到四元组(S,a,r,S’);其中四元组(S,a,r,S’)表示在状态S时,采取动作a,得到的奖励r和下一个状态S’;
步骤3:更新现实critic网络:从经验池里面取出现实Actor网络得到的四元组样本(S,a,r,S’)进行训练;把(S,a,r,S’)中的S和a输入到现实Critic网络中,得到现实Q(S,a)值,令Q=Q(S,a);把(S,a,r,S’)中的S’输入到目标Actor网络中,得到动作a’;把S’和a’一起输入到需要更新的Critic网络中,得到Q(S’,a’),且目标Q值为Q’=r+gamma×Q(S’,a’)值;
步骤4:根据现实critic网络的目标Q值,更新现实Actor网络使Q值输出最大;当每次迭代结束,现实critic网络和现实Actor网络根据当前的损失函数进行Q值的更新;
步骤5:间隔预设的时间段,使用现实critic网络和现实Actor网络的参数更新目标Actor网络和目标Critic网络;
步骤6:返回步骤2使用现实Actor网络采样,继续更新现实critic网络、现实critic网络和现实Actor网络,直到训练完所设置的epoch的次数,停止更新;
步骤7:目标Actor网络利用Q‑learning算法函数逼近的方法估计值函数,依据值函数训练最优的抓取动作;目标Critic网络利用损失函数评价当前的Actor网络所选取的抓取动作,随着训练的深入损失函数的值逐渐减小直至趋近于零。
2.根据权利要求1所述的基于深度强化学习的卫星抓取方法,其特征在于,所述获取卫星对接环的RGB图片,包括:获取不同角度下卫星的RGBD图片;
使用特征融合网络识别获取到的RGB图片,采用语义分割法得到不同角度下卫星对接环的RGB图片。
3.根据权利要求2所述的基于深度强化学习的卫星抓取方法,其特征在于,还包括:根据卫星对接环的RGBD图片,重建卫星对接环的3D模型。
4.根据权利要求1所述的基于深度强化学习的卫星抓取方法,其特征在于,所述得到对接环图像中的关键点置信度图,包括:利用预先构建的卷积神经网络对获取到的每张卫星对接环的RGB图片进行处理,得到图像的置信度图;
将大小为w×h×3的RGB图像输入预先构建的卷积神经网络,由卷积神经网络处理后得到:向量场预测的对接环图像中关键点的置信度图、以及针对卫星对接环的语义标签。
5.根据权利要求1所述的基于深度强化学习的卫星抓取方法,其特征在于,所述得到卫星对接环的位姿参数,包括:根据对接环图像中的关键点的置信度图,获取关键点ui的二维坐标,其中二维坐标包括′第k‑1幅图片上的关键点ui的二维坐标以及关键点ui在第k幅图片上的对应点ui 的二维坐标;
使用PNP算法,根据关键点ui的二维坐标信息计算得到关键点ui在世界坐标系下对应点的三维坐标pi;
求解第k‑1幅图片到第k幅图片的旋转矩阵和平移量Tk‑1,k;
根据Tk‑1,k恢复物体相对于摄像机的平移和旋转的量,使用PnP算法求解,得到卫星对接环的位姿参数。
6.一种基于深度强化学习的卫星抓取系统,其特征在于,所述基于深度强化学习的卫星抓取系统用于执行权利要求1‑5任一项所述的基于深度强化学习的卫星抓取方法;
所述基于深度强化学习的卫星抓取系统包括视觉端和机械端,所述视觉端包括:获取模块:用于获取卫星对接环的RGB图片并标注卫星样本数据库;
第一处理模块:用于利用预先构建的卷积神经网络处理获取到的卫星对接环的RGB图片,得到对接环图像中的关键点的置信度图;
第二处理模块:用于利用PnP算法对关键点置信度图进行求解,得到卫星对接环的位姿参数;将卫星样本数据库数据输入特征融合网络,得到对接环的识别分割结果;
最优抓取模块:将对接环图像中的关键点置信度图和卫星对接环的位姿参数输入预先训练好的深度强化学习算法,深度强化学习算法输出空间机械臂的最优抓取方案,响应于最优抓取方案,空间机械臂准确抓取卫星对接环。
7.根据权利要求6所述的基于深度强化学习的卫星抓取系统,其特征在于,所述机械端包括抓取装置,所述抓取装置连接视觉端的最优抓取模块。