欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2025101574478
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于强化学习的Windows域内信息扫描及渗透测试路径规划方法,其特征在于,包括如下步骤:

步骤1:对目标Windows域进行探测和扫描,利用LDAP协议与目标主机建立连接,通过设置过滤条件对目标域环境信息进行查询,探测域内漏洞信息,扫描收集包括域内主机信息、登录用户信息、相关服务配置信息、存活IP信息以及组策略信息;

步骤2:在收集到的Windows域内相关信息的基础上,对收集到的环境信息以及潜在漏洞信息进行分类、整理和存储,结合探测到的环境信息和潜在漏洞信息,对有价值信息进行保留,无价值信息进行筛除;

步骤3:将Windows域渗透测试过程抽象为马尔可夫决策过程,定义状态空间、动作空间和奖励函数;状态空间是域内主机和整体Windows域的状态组合,针对域内主机的状态包括登录用户权限、主机操作系统、当前控制类型以及特殊服务类型,针对域的状态包括是否为根域、当前控制类型、是否存在非约束委派用户、是否存在危险组策略、是否存在不需要Kerberos预认证的用户以及是否存在拥有SPN的用户;动作空间包括一系列针对主机的攻击动作,包括权限提升、漏洞利用以及组策略攻击;奖励函数为基于当前的策略采取行动,在执行任意动作后根据奖励函数获取当前动作的即时奖励;

步骤4:构建强化学习智能体,并通过与模拟环境进行交互训练来生成渗透测试路径,根据奖励策略进行调整,通过积累奖励来寻找最优渗透测试路径,构建Windows域渗透测试模型,最终生成最优渗透测试路径;

步骤4具体为:

在已经定义好的状态空间、动作空间和奖励函数的基础上,采用深度Q网络算法,定义并初始化Q网络,将环境状态编码为数值向量,包括当前主机信息、网络拓扑、域控状态信息;设置神经网络结构及其参数,包括核心架构的输入层、隐藏层和输出层,设置动作掩码,将非法动作的Q值设置为负无穷以过滤无效动作;采用双网络机制,在训练网络中实时更新参数,用于选择动作和计算当前Q值;在目标网络中定期从训练网络同步参数,用于计算目标Q值,稳定训练过程,并且设置同步频率,在训练时根据贪心算法选择动作,部署时选择Q值最大的动作;

在训练过程中,首先构建模拟Windows域环境,初始化训练网络和目标网络;其次设定超参数,包括折扣因子,经验回放缓冲区容量,批次大小,初始探索率,衰减率,学习率;在单次训练周期中,与环境交互循环,选择执行动作和储存经验,并且更新网络,计算目标Q值,最后根据设置的终止条件终止训练;

经过充分训练后,智能体基于当前状态和动作空间,选择漏洞利用动作,通过成功利用漏洞获取更多的环境信息和权限,进一步提升状态空间信息;在选择漏洞利用动作后,智能体根据奖励函数计算并接受奖励,智能体根据反馈的奖励值,更新当前状态下各个动作的Q值,优化其行为策略;在持续迭代Q值的过程中,智能体的策略不断优化,逐步接近最优渗透测试路径,智能体最终生成满足渗透测试目标且累积奖励最大化的渗透测试路径。

2.根据权利要求1所述一种基于强化学习的Windows域内信息扫描及渗透测试路径规划方法,其特征在于:所述步骤1具体为:

在获取到目标Windows域内任意一台主机的凭证的前提下,通过LDAP协议建立LDAP连接,通过设置过滤器来对域内相关信息和域内可利用漏洞信息进行收集;收集域内相关信息包括域名称、域内普通主机名称、域控制器名称、域内服务器名称、域用户信息、用户组信息、域信任关系信息,探测的域内漏洞信息包括针对ADCS、域控制器、委派以及Exchange服务器的相关漏洞。

3.根据权利要求1所述一种基于强化学习的Windows域内信息扫描及渗透测试路径规划方法,其特征在于:所述步骤2具体为:

对获取到的相关信息进行处理,结合探测到的可能存在的可利用漏洞信息和获取到的域内主机相关信息,分析潜在漏洞是否具有利用条件,漏洞利用成功率,分析漏洞利用所需的用户信息、服务信息条件是否存在,如果存在则将对应的可利用漏洞存储在字典里,如果不存在则将漏洞信息删除,从而保留有价值的漏洞信息以及域内主机相关信息,最后根据处理后的信息生成yaml文件,用于后续的智能体训练。

4.根据权利要求1所述一种基于强化学习的Windows域内信息扫描及渗透测试路径规划方法,其特征在于:步骤3具体为:

步骤3-1:将Windows域渗透测试过程抽象为马尔可夫决策过程,马尔可夫决策过程是一个用于解决多阶段序列决策问题的框架,它是一种基于状态转移概率和奖励的数学模型,用于描述一个智能体在一个随机环境中采取一系列决策的情况,马尔可夫决策过程由四元组构成,分别代表动作空间,状态空间,奖励函数和状态转移概率函数;

步骤3-2:定义动作空间;每一个动作空间中的动作都由一个三元组type、target、action构成,type为 0代表动作目标对象为域内主机,type为1代表动作目标对象为Windows域;target代表目标主机或者Windows域的序号;action为各个攻击动作对应的动作序号,针对主机的攻击动作包括权限提升,非约束性委派,永恒之蓝,MS14-068,MS08-067,Exchange Relay,Exchange Proxy,MSSQL CLR,Hash Dump,DCSYNC;针对域的攻击动作包括CVE-2020-1472,CVE-2021-42287,组策略攻击,AS_REP Roasting,Kerberoasting,SIDHistory;

步骤3-3:定义状态空间;状态空间是由描述域内主机的状态空间和Windows域的状态空间组合而成;

描述主机的状态空间由一个二维数组构成,分别代表作为测试目标的域内主机对象和对应描述该主机的某个特征,特征包括身份,当前控制类型,是否取得操作系统信息,特殊服务类型,当前登录用户中是否包含本地管理员组成员,是否存在所在域的高权限进程以及是否获得域内的高权限凭证;其中身份的值为0代表该主机是一台普通域内主机,1代表该主机是一台普通的域内服务器,2代表该主机是一台普通的域内控制器,3代表该主机是一台根域的域控制器;当前控制类型的值为0代表尚未获得该主机的控制权,1代表获得该主机的普通域内用户权限,2代表获得该主机的SYSTEM控制权限;特殊服务类型的值为0代表该主机不存在特殊的服务,1代表该主机存在MSSQL数据库服务,2代表该主机存在Exchange邮件服务;

描述域的状态空间由一个二维数组构成,分别代表作为测试目标的域对象和对应描述该域的某个特征,特征包括是否为根域,当前控制类型,是否已经获得该域的任意高权限凭证,是否存在非约束委派账户,是否存在危险的组策略文件,是否存在不需要Kerberos预认证的用户以及是否存在拥有SPN的用户;表述域的状态空间使用0/1编码,用于表示是否找到项目的值;

步骤3-4:定义奖励函数;强化学习智能体通过观察环境中的状态,并基于当前的策略采取行动,在执行任意动作后根据奖励函数获取当前动作的即时奖励,智能体的目标是最大化未来的奖励累积,因此奖励函数的设置用于引导智能体习得最优的策略,奖励分为几个部分进行设置,包括针对主机控制权发生改变的奖励设置,针对域控制权发生改变的奖励设置和针对凭证收集的奖励设置。