[發(fā)明專利]一種基于獎勵反饋的智能蜜罐系統

在審

• 申請?zhí)枺?/td>: 201911288802.6
• 申請日: 2019-12-12
• 公開（公告）號: CN111079932A
• 公開（公告）日: 2020-04-28
• 發(fā)明（設計）人: 陳夏裕;袁鍵;徐樂晨;施靖萱;章明飛
• 申請（專利權）人: 江蘇亨通工控安全研究院有限公司
• 主分類號: G06N7/00
• 分類號: G06N7/00;H04L29/06
• 代理公司: 蘇州市中南偉業(yè)知識產權代理事務所(普通合伙) 32257
• 代理人: 郭磊

本發(fā)明涉及一種基于獎勵反饋的智能蜜罐系統，應用強化學習方法實現對攻擊者信息收集的最大化。蜜罐系統與攻擊者進行交互，在環(huán)境中進行自主學習。蜜罐采用馬爾可夫模型，通過獎勵函數來對蜜罐系統的優(yōu)質反應提供獎勵，交互時間越長獎勵越多。由于基于強化學習思想，蜜罐不需要事先設置反應規(guī)則，如配置在給定一組具體輸入時應該采取什么樣的操作，而是根據前面的經驗來學習在當前情況下應該采取什么行動。技術人員不需要對蜜罐系統頻繁升級，減少了技術人員的工作量，可極大提高了蜜罐系統的對抗性和效用性。

技術領域

本發(fā)明涉及基于獎勵反饋的智能蜜罐系統，屬于工業(yè)控制安全技術領域。

背景技術

工業(yè)控制系統作為國家關鍵基礎設施的重要核心，已成為電力、化工、石油與天然氣、水處理等工業(yè)生產領域重要的支撐系統。這些年來工業(yè)控制系統不斷發(fā)展，工控蜜罐系統也不斷發(fā)展。蜜罐系統的開發(fā)已經成為一個不斷進化的過程，需要能夠應對不斷出現的新威脅。目前自動惡意軟件常常在其代碼中融合蜜罐檢測機制以實現對抗查殺，一旦蜜罐的功能暴露，惡意軟件將不會繼續(xù)攻擊蜜罐，從而降低了蜜罐系統保護工業(yè)設備安全的效果，因此如何提升蜜罐的隱藏能力對于工業(yè)控制安全的意義十分重大。

發(fā)明內容

當前的蜜罐系統如果被惡意軟件檢測發(fā)現，唯一使其恢復效用的辦法是手動修改蜜罐系統，或者為蜜罐系統打上新版本補丁，以嘗試避開惡意軟件的檢測。如今的惡意軟件往往使用高度自動化的蜜罐檢測技術，這導致技術人員需要持續(xù)開發(fā)出更新的版本和補丁來對付惡意軟件及其變種。

鑒于此，本發(fā)明描述了一種基于獎勵反饋的智能蜜罐系統，具體運用了深度學習思想，主動選擇與攻擊者進行交互的最佳方式，以延長與攻擊者的交互時間，從而學習到更多的攻擊的特征。強化學習是一種機器學習技術，蜜罐在實際環(huán)境中進行自主學習，它沒有被預先指示在給定一組具體輸入時應該采取什么樣的操作，而是根據以前的經驗來學習在當前情況下應該采取什么行動。

為達到上述發(fā)明目的，本發(fā)明通過以下技術方案實現。

我們提出一個基于蜜罐系統的強化學習模型：

步驟1蜜罐系統在與惡意軟件進行交互時，蜜罐系統對自動惡意軟件產生的攻擊指令進行應對。

步驟2系統根據蜜罐系統與惡意軟件交互的情況給予不同的獎勵，即蜜罐系統與惡意軟件交互的指令越多，時間越長，系統給予蜜罐系統的獎勵越多。

步驟3蜜罐系統根據與自動惡意軟件交互的情況，即獎勵函數的獎勵情況，進行學習。

本發(fā)明類似機器學習中的強化學習，蜜罐系統在與自動惡意軟件的交互過程中自主學習。蜜罐系統不是被動地讓技術人員對系統進行修改以應對不斷變化的自動惡意軟件，而是學習以前的經驗來決定當下應該采取何種行動。本發(fā)明不同于以往的蜜罐系統。以往的蜜罐系統通常設置完成后只能通過技術人員手工修改或升級。本發(fā)明可以通過對以往與攻擊者的交互過程的自主學習，自主判斷如何進行再次交互。

強化學習問題一般可以用馬爾可夫決策過程(MDP)來建模。在缺乏完整的環(huán)境模型的情況下，最優(yōu)的模型常常是未知的或難以計算，強化學習方法有助于馬爾可夫決策問題。

MDP是一種特殊的數學框架，適用于不確定下的決策建模。MDP通常可以表示為由狀態(tài)、動作、轉換概率和獎勵四部分組成(S,A,P,R)：

-S，表示狀態(tài)集

-A，表示動作空間

-P，表示狀態(tài)轉移概率矩陣

-R，表示獎勵函數

S_t、S_t+1∈S,表示t和t+1時刻的狀態(tài)，屬于狀態(tài)集S，P_ss'^a表示在當S_t狀態(tài)下，經過a∈A后會轉移到的概率S_t+1。