1.一种融合强化学习与HER算法的可迁移自动渗透测试方法,其特征在于,所述融合强化学习与HER算法的可迁移自动渗透测试方法,包括:将渗透测试过程建模为马尔科夫决策过程,得到MDP任务结构,基于MDP任务结构,使用DQN模型构建自动渗透测试的基础模型;
在基础模型的MDP任务结构中增加目标状态,并根据目标状态重构经验池中经验样本的数据格式,得到渗透测试模型;
在渗透测试模型的训练过程中,根据经验池中的经验样本生成新的经验样本,直至训练完成输出训练场景下最优的渗透测试模型,生成操作包括将经验样本中下一个状态对应的目标状态作为新的经验样本的目标状态;
针对新场景构建新的渗透测试模型,并将原训练场景下最优的渗透测试模型的参数迁移至新的渗透测试模型;
冻结新的渗透测试模型中迁移得到的参数,在新场景中训练新的渗透测试模型,并在训练过程中根据经验池中的经验样本生成新的经验样本,直至训练完成输出新场景下最优的渗透测试模型。
2.根据权利要求1所述的融合强化学习与HER算法的可迁移自动渗透测试方法,其特征在于,所述将渗透测试过程建模为马尔科夫决策过程,包括:将渗透测试网络环境定义为状态空间,包括网络配置信息和主机配置信息;
将网络扫描、漏洞扫描、漏洞利用、横向移动以及提权操作定义为动作空间;
将当前状态下采取动作后环境转变到下一个状态的概率值定义为状态转移概率;
将渗透测试过程中所执行的每个动作的好坏成度定义为奖励函数,若动作执行成功,则获得正奖励值,否则获得负奖励值。
3.根据权利要求1所述的融合强化学习与HER算法的可迁移自动渗透测试方法,其特征在于,所述在基础模型的MDP任务结构中增加目标状态,包括:初始构建的DQN模型中的MDP任务结构表示为元组,为状态空间,为动作空间,为状态转移概率,为奖励函数,为折扣因子;
往元组中添加一个新元素目标状态,目标状态表示DQN模型在一个状态下期望达到的目标状态,则更新后的MDP任务结构表示为元组;
并且与之间添加映射关系,对于所有的状态都有对应的目标状态,因此DQN模型的输入更新为,其中映射关系如下:;
其中,表示映射关系函数,表示目标状态集合,表示状态到目标状态的映射关系,表示对于所有的状态都有对应的目标状态。
4.根据权利要求1所述的融合强化学习与HER算法的可迁移自动渗透测试方法,其特征在于,所述根据目标状态重构经验池中经验样本的数据格式,包括:初始构建的DQN模型经验池中存放的经验样本的数据格式为,一条经验样本表示为一次状态到状态的转变,表示时刻的状态,表示时刻的动作,表示时刻的奖励,表示时刻的状态;
在基础模型的MDP任务结构中增加目标状态之后,经验样本的数据格式重构为,重构后环境状态由状态与对应的目标状态联合表示,同时时刻的奖励关联至状态与目标状态的映射关系,即,当状态与目标状态的映射关系成立时,奖励值的值为正;反之奖励值的值为负,表示时刻受目标状态影响的奖励值。
5.根据权利要求1所述的融合强化学习与HER算法的可迁移自动渗透测试方法,其特征在于,所述生成操作还包括更新奖励值为正值,则新的经验样本表示为,表示时刻的状态,表示状态对应的目标状态,表示时刻的动作,表示时刻受目标状态影响的奖励值,表示时刻的状态,表示状态对应的目标状态,即新的经验样本的目标状态。
6.根据权利要求1所述的融合强化学习与HER算法的可迁移自动渗透测试方法,其特征在于,所述将原训练场景下最优的渗透测试模型的参数迁移至新的渗透测试模型,包括:针对DQN模型中输入层的参数迁移,对比原训练场景和新场景的输入特征,重合部分直接复制对应参数,对于新的输入特征额外随机初始化对应特征的参数;
针对DQN模型中隐藏层的参数迁移,对比原训练场景下最优的渗透测试模型和新场景下新构建的渗透测试模型的隐藏层结构,若结构相同,则直接复制隐藏层的全部权重和偏置参数;若有差异,则复制相同部分的权重和偏执参数,对于不同部分的权重和偏执参数进行随机初始化。
7.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的融合强化学习与HER算法的可迁移自动渗透测试方法的步骤。