欢迎来到知嘟嘟! 联系电话:13336804447 卖家免费入驻,海量在线求购! 卖家免费入驻,海量在线求购!
知嘟嘟
我要发布
联系电话:13336804447
知嘟嘟经纪人
收藏
专利号: 2022101081405
申请人: 南京邮电大学
专利类型:发明专利
专利状态:已下证
专利领域: 计算;推算;计数
更新日期:2026-11-16
缴费截止日期: 暂无
价格&联系人
年费信息
委托购买

摘要:

权利要求书:

1.一种基于强化学习的自动化Windows域渗透方法,特征在于:所述方法包括如下步骤:步骤1,以信息搜集工具、漏洞扫描工具和漏洞框架为基础,以对应工具的扩展模块为补充,利用python语言作为工具与工具、工具与环境间的连接脚本,构建渗透测试平台;

步骤2,使用渗透测试平台对目标环境进行信息搜集、漏洞扫描,并依据结果匹配每台主机使用的漏洞攻击模块;

步骤3,使用渗透测试平台自动进行强化学习建模;

在步骤3中细分了如下的分步骤:

步骤3-1,以MDP四元组(S,A,R,P)的形式表示强化学习,通过其在环境中不断探索试错得到正向、反向的奖励reward,并依据奖励判断动作的优先级,强化学习在不同状态s下的不同动作选择a称为策略,学习目标是优化策略π以最大化累积奖励,使用Q学习算法求解强化学习策略,该算法使用动作、值函数Q(s,a)表示策略,并依据Q(s,a)的函数期望大小进行动作选择;

步骤3-2,依据步骤3-1中对强化学习的描述,构建四元组(S,A,R,P),并由Q学习算法求解针对目标环境的最优策略;

在步骤3-2中细分了如下的分步骤:

步骤3-2-1,构造状态空间S:使用主机信息及当前获得目标主机的权限规定状态空间,根据步骤2-1中收集的信息,每台主机的状态表示为“IP-操作系统-端口:服务-存在漏洞-已获得的权限”的形式,其中,仅权限随着渗透过程的变化而发生改变,使用“状态编号-已获得的权限”的形式枚举状态空间S,此外,将成功渗透域控制器的状态设为目标状态G,若主机n为域控制器,则状态空间枚举为“1:x-2:x-3:x-4:x-5:x……n-1:x-n:y”的集合,其中x取N、L、U;y取Null或G,其中,N、L、U分别代表主机处于的未取得权限、本地管理员权限、域普通用户权限三种状态,G代表当前达到最终状态,Null则代表未达到最终状态;

步骤3-2-2,构造动作空间A:动作空间代表攻击者使用的漏洞利用动作,其来源于渗透测试平台中;将漏洞利用模块细分为凭据利用模块及常规漏洞模块;自动化渗透时,除了利用传统漏洞进行渗透外,还通过域用户凭据进行横向移动;

步骤3-2-3,构造奖励函数R:强化学习依赖与环境交互后的奖励做出决策;执行任意动作后,智能体依据奖励函数得到该动作的即时奖励,并预测累积奖励期望;奖励来源于正向的权限提升ΔR与负面的漏洞损耗rcost;若每次权限获取动作都产生权限增益RPA,根据每台主机的不同权限状态,其得分r分别为:未获得目标主机权限:r=0;

获得目标主机的普通用户权限:r=8;

获得目标主机的本地管理员权限:r=10;

获得域管理员权限:r=100+rextra;

若某主机在漏洞利用动作前后的权限得分为r1、r2,则该动作的正向奖励为其权限增益:ΔR=r2-r1,r2>r1,由于域管理员权限等同于域内所有机器的最高权限,因此到达目标状态获得额外得分补偿rextra,其值等于将该域环境中所有主机提升为本地管理员权限获取的得分之和;

rcost由漏洞等级Vrank、漏洞可用性Vexploitble、漏洞暴露的时间Tvuln三个因素组成,其值分别来自通用漏洞评分系统CVSS的基础得分、可用性得分以及发布漏洞的时长,rcost由如下公式表示:rcost=10sigmoid(Tvuln)-VexploitbleVrank/10其中rcost最小值为0;

权限获取动作的奖励为权限增益ΔR与漏洞消耗rcost之差:

RPA=ΔR-rcost

步骤3-2-4,构造状态转移P:基于实际渗透测试工具与真实环境进行交互,通过实验环境的交互探索状态转移;当强化学习选取某个动作,通过渗透测试平台执行后,平台将收到环境反馈的状态变化信息,并由此探索状态转移;

步骤4,使用渗透测试平台自动调用攻击模块进行攻击,并依据返回结果进行强化学习训练、状态简化,不断优化最优攻击路径。

2.根据权利要求1所述的一种基于强化学习的自动化Windows域渗透方法,其特征在于:在步骤1中细分了如下的分步骤:步骤1-1,信息搜集工具基于现有工具nmap,漏洞扫描工具使用商业工具AWVS,漏洞框架则基于开源渗透测试工具集metasploit-framework即MSF;

步骤1-2,通过漏洞利用代码扩充MSF,对使用不同编程语言的代码进行统一的规范,使用ruby语言进行重新编写;

步骤1-3,使用python脚本,将强化学习模块与信息搜集、漏洞扫描、漏洞攻击相连接,当强化学习决定采取某个动作时,直接调用对应的工具的相关功能实现;

步骤1-4,完成整个渗透测试平台的建立,使其具备信息搜集、漏洞扫描及漏洞利用三方面的工具,通过python接口使得强化学习与以上三类工具相连接,当强化学习完成训练后,实现自动化的渗透测试。

3.根据权利要求1所述的一种基于强化学习的自动化Windows域渗透方法,其特征在于:在步骤2中细分了如下的分步骤:步骤2-1,以现实域网络搭建为实验环境,接入步骤1中构建的渗透测试平台后,给定目标域网络某一台主机的权限,通过这台主机作为跳板,平台首先将使用工具nmap及其扩展功能,通过python脚本自动的调用,实现对目标的域网络内的所有主机和域用户进行信息搜集及漏洞扫描,获取每台主机的IP、操作系统、端口:服务、存在漏洞信息;

步骤2-2,针对步骤2-1中每台主机的漏洞扫描结果,依据其中主机的操作系统、端口:服务,使用对应的漏洞利用条件进行匹配,判断扫描工具是否出现了误报,只有满足漏洞利用条件的漏洞被强化学习选为真实的攻击动作。

4.根据权利要求1所述的一种基于强化学习的自动化Windows域渗透方法,其特征在于:在步骤4中细分了如下的分步骤:步骤4-1,由步骤1至3中构建的强化学习模型,使用渗透测试平台对其进行强化学习训练,即优化关于此环境的策略直至找到最优策略;自动化渗透刚开始时,强化学习算法还无法有效生成最优路径,此时采取随机选取动作的方式,通过python脚本连接的漏洞攻击模块对目标网络中的主机发起攻击,同时记录其强化学习奖励、状态转移的信息,并更新强化学习策略;当达到目标状态,完成渗透测试后,平台将会初始化环境信息,并开始下一轮渗透;

步骤4-2,将对渗透问题进行简化;在域环境中,渗透一台主机目的在于进行内网穿透或窃取未知的域账户凭据;渗透任一主机的实际收益与渗透所有主机的收益相同,因此认为此类型的主机满足状态简化条件,将删除其所有相关状态及漏洞利用动作;

步骤4-3,进行到一定轮次后,将由强化学习算法进行动作选择,同样的,执行攻击后环境反馈的奖励、状态转移的信息将用于强化学习训练,最终,在迭代循环到一定轮次后,算法达到收敛,此时平台输出经过实际验证、多次优化后的最优路径。