[發明專利]一種基于強化學習的自動化Windows域滲透方法

在審

• 申請號: 202210108140.5
• 申請日: 2022-01-28
• 公開（公告）號: CN114444086A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 肖甫;占力戈;沙樂天;周劍;董建闊;張品昌;桂林卿
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F21/57
• 分類號: G06F21/57;G06N3/08
• 代理公司: 南京正聯知識產權代理有限公司 32243
• 代理人: 王素琴

1.一種基于強化學習的自動化Windows域滲透方法，特征在于：所述方法包括如下步驟：

步驟1，以信息搜集工具、漏洞掃描工具和漏洞框架為基礎，以對應工具的擴展模塊為補充，利用python語言作為工具與工具、工具與環境間的連接腳本，構建滲透測試平臺；

步驟2，使用滲透測試平臺對目標環境進行信息搜集、漏洞掃描，并依據結果匹配每臺主機使用的漏洞攻擊模塊；

步驟3，使用滲透測試平臺自動進行強化學習建模；

步驟4，使用滲透測試平臺自動調用攻擊模塊進行攻擊，并依據返回結果進行強化學習訓練、狀態簡化，不斷優化最優攻擊路徑。

2.根據權利要求1所述的一種基于強化學習的自動化Windows域滲透方法，其特征在于：在步驟1中細分了如下的分步驟：

步驟1-1，信息搜集工具基于現有工具nmap，漏洞掃描工具使用商業工具AWVS，漏洞框架則基于開源滲透測試工具集metasploit-framework即MSF；

步驟1-2，通過漏洞利用代碼擴充MSF，對使用不同編程語言的代碼進行統一的規范，使用ruby語言進行重新編寫；

步驟1-3，使用python腳本，將強化學習模塊與信息搜集、漏洞掃描、漏洞攻擊相連接，當強化學習決定采取某個動作時，直接調用對應的工具的相關功能實現；

步驟1-4，完成整個滲透測試平臺的建立，使其具備信息搜集、漏洞掃描及漏洞利用三方面的工具，通過python接口使得強化學習與以上三類工具相連接，當強化學習完成訓練后，實現自動化的滲透測試。

3.根據權利要求1所述的一種基于強化學習的自動化Windows域滲透方法，其特征在于：在步驟2中細分了如下的分步驟：

步驟2-1，以現實域網絡搭建為實驗環境，接入步驟1中構建的滲透測試平臺后，給定目標域網絡某一臺主機的權限，通過這臺主機作為跳板，平臺首先將使用工具nmap及其擴展功能，通過python腳本自動的調用，實現對目標的域網絡內的所有主機和域用戶進行信息搜集及漏洞掃描，獲取每臺主機的IP、操作系統、端口:服務、存在漏洞信息；

步驟2-2，針對步驟2-1中每臺主機的漏洞掃描結果，依據其中主機的操作系統、端口:服務，使用對應的漏洞利用條件進行匹配，判斷掃描工具是否出現了誤報，只有滿足漏洞利用條件的漏洞被強化學習選為真實的攻擊動作。

4.根據權利要求1所述的一種基于強化學習的自動化Windows域滲透方法，其特征在于：在步驟3中細分了如下的分步驟：

步驟3-1，以MDP四元組(S,A,R,P)的形式表示強化學習，通過其在環境中不斷探索試錯得到正向、反向的獎勵reward，并依據獎勵判斷動作的優先級，強化學習在不同狀態s下的不同動作選擇a稱為策略，學習目標是優化策略π以最大化累積獎勵，使用Q學習算法求解強化學習策略，該算法使用動作、值函數Q(s,a)表示策略，并依據Q(s,a)的函數期望大小進行動作選擇；

步驟3-2，依據步驟3-1中對強化學習的描述，構建四元組(S,A,R,P)，并由Q學習算法求解針對目標環境的最優策略。