[發(fā)明專利]無監(jiān)督異常檢測系統(tǒng)和方法

有效

• 申請?zhí)枺?/td>: 202010079208.2
• 申請日: 2020-02-03
• 公開（公告）號: CN111277603B
• 公開（公告）日: 2021-11-19
• 發(fā)明（設計）人: 韓科;譚天
• 申請（專利權）人: 杭州迪普科技股份有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06;H04L29/08;H04L12/24
• 代理公司: 北京金訊知識產權代理事務所(特殊普通合伙) 11554
• 代理人: 黃劍飛

本公開提供一種無監(jiān)督異常檢測系統(tǒng)和方法。該系統(tǒng)具有第一操作模式和第二操作模式并且包括http請求日志數(shù)據(jù)庫、http請求接收裝置、參數(shù)值異常檢測模塊、參數(shù)序列異常檢測模塊、常請求參數(shù)記錄數(shù)據(jù)庫以及報警裝置，其中所述http請求日志數(shù)據(jù)庫存在web服務器的過往正常HTTP請求日志；其中在所述第一種操作模式下，所述http請求接收裝置獲取特定Web服務器的過往正常HTTP請求日志，所述參數(shù)值異常檢測模塊基于帶存儲模塊的變分自編碼器進行訓練，而所述參數(shù)序列異常檢測模塊對用戶請求包含的輸入?yún)?shù)類型與請求時間間隔的序列進行泛化表示，然后通過LSTM進行訓練，以便用來進行識別異常http請求。

技術領域

本公開涉及無監(jiān)督異常檢測系統(tǒng)和方法，尤其涉及采用端到端的深度學習方式來進行無監(jiān)督異常檢測的系統(tǒng)和方法。

背景技術

在Web攻擊中，用戶的輸入成為攻擊者突破的載體，而對于不同的應用，正常用戶輸入往往相同，異常請求則與正常請求存在模式上的差別。同時由于標簽數(shù)據(jù)的匱乏，有監(jiān)督等分類算法難以在實踐中應用，因此采取無監(jiān)督深度學習，盡可能地通過端到端的方式來解決用戶輸入的HTTP參數(shù)異常的問題。

一些方法采取人工構造特征加上機器學習的方式來進行HTTP參數(shù)異常檢測，包括使用one-class SVM、iforest、KNN等算法。例如，方勇、劉亮等人的文獻“一種基于機器學習的Web入侵檢測技術”，盧康、劉亮等人的文獻“Web攻擊檢測方法及裝置”，方勇、黃誠等人的文獻“一種基于語義分析的 Web威脅感知系統(tǒng)”就是采用這樣的檢測技術。這種十分依賴于人工的特征工程，如果構造的特征不夠好的話，相當于損失了較多的原始信息。

也有一些方案使用變分自編碼器或隱馬爾科夫鏈根據(jù)重構概率來進行網(wǎng)絡流量異常檢測，如A.拉馬爾、M.漢澤爾曼等人的文獻“用于識別通信網(wǎng)絡的數(shù)據(jù)流中的異常的方法和設備”，鄒福泰、張慶儒等人的文獻“一種基于機器學習的WEB惡意請求深度檢測系統(tǒng)及方法”。在這種技術中，隱馬爾科夫鏈由于結構特征導致其只能捕捉相鄰參數(shù)字符之間的依賴，無法捕捉整體上字符之間的關系。同時，隱馬爾科夫鏈和變分自編碼器沒有針對降低異常樣本的重構概率采取措施。盡管理論上生成模型學習正常序列后，對異常樣本的平均重構概率與隨機字符串接近，都低于正常序列的重構概率，實際中，生成模型有時會由于過度“泛化”導致其對異常樣本也有較高的重構概率，使得正常樣本和異常樣本難以區(qū)分。

上述兩種技術方案都是基于單個請求來進行異常檢測。還有一些方案將用戶的一定時間內的輸入當做序列，并聯(lián)合多個請求特征來進行HTTP參數(shù)異常檢測，如陳繼安、文立乾等人的文獻“一種基于大數(shù)據(jù)日志分析的網(wǎng)站入侵檢測方法”。在這種技術中，只是簡單的根據(jù)日志中的HTTP請求的IP相關的特征通過人工規(guī)則進行分類，不具有自適應學習的特征，難以應對復雜多變的網(wǎng)絡環(huán)境。

因此，需要一種采用端到端的深度學習方式來進行無監(jiān)督異常檢測的技術方案，它不僅從單個請求的角度來對用戶的異常輸入進行分析，同時結合用戶輸入的多個請求的參數(shù)序列，對可能存在的行為模式異常進行檢測。

發(fā)明內容

本公開就是解決上述技術問題的方案，它采用端到端的深度學習方式來進行無監(jiān)督異常檢測，既能從單個請求的角度來對用戶的異常輸入進行分析，又能結合用戶輸入的多個請求的參數(shù)序列，對可能存在的行為模式異常進行檢測。