[發明專利]基于DVAE-Catboost的異常流量檢測方法與系統

在審

• 申請號: 202010318898.2
• 申請日: 2020-04-21
• 公開（公告）號: CN111526144A
• 公開（公告）日: 2020-08-11
• 發明（設計）人: 張浩;連鴻飛;魏志強;李杰鈴;陳龍
• 申請（專利權）人: 福州大學
• 主分類號: H04L29/06
• 分類號: H04L29/06;G06N3/04;G06N3/08;G06N20/20
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 錢莉;蔡學俊

本發明涉及基于DVAE?Catboost的異常流量檢測方法與系統，首先從網絡鏈路上采集流量數據，提取網絡流量特征后再對流量數據進行預處理，接著使用DVAE網絡來獲得高維網絡流量數據的低維表示，然后采用Catboost算法訓練異常流量檢測模型，最后利用訓練好的異常流量檢測模型對實時流量進行異常檢測，并進行響應處理。

技術領域

本發明涉及計算機網絡安全技術領域，特別是基于DVAE-Catboost的異常流量檢測方法與系統。

背景技術

網絡流量異常檢測作為實現網絡入侵檢測的一種有效方法，不僅能夠檢測未知的網絡攻擊，還可以為網絡態勢感知提供重要支持。網絡的異常流量對網絡可用狀態影響較大，甚至導致用戶無法正常訪問互聯網。引起網絡流量異常的原因主要有：一是網絡性能原因，主要指網絡拓撲結構設計不合理或用戶操作不當造成的異常流量，例如網絡管理員網絡策略設置不當、網絡設備故障等；二是網絡安全原因，主要指網絡惡意攻擊行為造成的異常流量，例如拒絕服務攻擊(Dos)、遠程訪問攻擊(R2L)、探針攻擊(Probe)等。網絡安全原因引起的網絡流量異常是目前研究和檢測的重點。

異常流量檢測系統處理的網絡流量數據通常含有大量的冗余和噪聲，冗余和噪聲特征的存在會嚴重消耗計算機系統的資源，從而使得異常流量檢測系統的檢測時間較長、實時性較差和準確率較低。當前的網絡流量數據的特征主要是復雜的非線性關系，傳統的特征降維方式在面對非線性的高維網絡流量特征數據時無法有效的將其映射到低維空間，且傳統的特征降維方式不能消除網絡流量數據中的冗余和噪聲數據。

發明內容

有鑒于此，本發明的目的是提出基于DVAE-Catboost的異常流量檢測方法與系統，有效解決了異常流量檢測過程中高維網絡流量的降維問題與大批量數據訓練困難的問題，并且提高了檢測率和檢測精度。

本發明采用以下方案實現：一種基于DVAE-Catboost的異常流量檢測方法，首先從網絡鏈路上采集流量數據，提取網絡流量特征后再對流量數據進行預處理，接著使用DVAE網絡來獲得高維網絡流量數據的低維表示，然后采用Catboost算法訓練異常流量檢測模型，最后利用訓練好的異常流量檢測模型對實時流量進行異常檢測，并進行響應處理。

進一步地，提取到的網絡流量特征包括：網絡流的持續時間、源IP發送的字節數、目的IP發送的字節數、源IP發送的數據包個數、目的IP發送的數據包個數、源IP發送的IP層字節數以及目的IP發送的IP層字節數。

進一步地，所述對流量數據進行預處理具體包括以下步驟：

將字符型特征與攻擊類別轉換為對應的十進制數值；

對每一條數據中存在的缺失值，在同類別數據中取平均值補齊；

采用max-min方法歸一化數據。

進一步地，所述使用DVAE網絡來獲得高維網絡流量數據的低維表示具體包括以下步驟：

預訓練，即逐個訓練變分自編碼網絡VAE，將上一個變分自編碼網絡的隱層輸出作為下一個變分自編碼網絡的輸入；

構建深度變分自編碼網絡DVAE，該深度變分自編碼網絡DVAE由一個以上的變分自編碼網絡VAE堆疊而成；

對整個深度變分自編碼網絡DVAE的每一個變分自編碼網絡VAE進行微調；

將訓練數據集或測試數據集輸入微調后的DVAE，得到降維后的流量特征數據。

進一步地，所述響應處理具體為：若異常檢測的結果為存在惡意流量，則提取異常流量中的敏感信息，并將結果展示給用戶；若不存在惡意流量，則告知用戶不存在異常流量。

進一步地，所述異常流量中的敏感信息包括源IP地址、目的IP地、payload信息。