[發明專利]一種基于CNN_LSTM的網絡流量異常檢測方法

在審

• 申請號: 202010951195.3
• 申請日: 2020-09-11
• 公開（公告）號: CN112100614A
• 公開（公告）日: 2020-12-18
• 發明（設計）人: 馬明艷;陳偉
• 申請（專利權）人: 南京郵電大學
• 主分類號: G06F21/55
• 分類號: G06F21/55;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京瑞弘專利商標事務所(普通合伙) 32249
• 代理人: 彭雄

本發明公開了一種基于CNN_LSTM的網絡流量異常檢測方法，對數據集進行預處理，處理結束后針對樣本數量采用分布不均問題，使用Smote技術過采樣，然后采用一維卷積神經網絡(CNN)的方法進行特征提取，利用深度學習中長短期記憶網絡(LSTM)來訓練數據，當損失函數滿足條件時終止訓練，得到訓練好的模型，本發明采用的一維卷積神經網絡對網絡流量這種序列數據進行特征提取，實用性較，同時對惡意流量檢測有較好的效果，準確率高，誤報率較低。

技術領域

本發明涉及一種基于CNN_LSTM的網絡流量異常檢測方法，屬于機器學習技術領域。

背景技術

通過監控網絡流量包或系統日志，自動高效檢測惡意流量是網絡安全的重要保障，目前國內外已經有很多工作來檢測惡意流量。主要有傳統的方法和基于機器學習的方法，這兩種方法都有特征提取這一階段。傳統的方法主要是安全專家研究不同攻擊類別的特點，為特征設定一個較為合理的閾值；機器學習的方法是基于給定的模型從數據集中自動學習惡意流量的模式。隨著深度學習在語音識別、文本分析等方面的廣泛應用，深度學習模型在從大規模數據集中的學習潛力受到了越來越多的關注，有很多安全人員將其應用到網絡入侵檢測的研究中，取得了不錯的效果。

CNN一般由卷積層、池化層、全連接層組成，卷積神經網路中每層卷積層由若干卷積單元組成，每個卷積單元的參數都是通過反向傳播算法優化得到的。卷積運算的目的是提取輸入的不同特征，第一層卷積層可能只能提取一些低級的特征如邊緣、線條和角等層級，更多層的網絡能從低級特征中迭代提取更復雜的特征。通常在卷積層之后會得到維度很大的特征，將特征切成幾個區域，取其最大值或平均值，得到新的、維度較小的特征。把所有局部特征結合變成全局特征，用來計算最后每一類的得分。

RNN(包括但不限于LSTM)在時序數據中性能較好的原因是其全局化處理和memory(hidden)cell。全局化表示完整的輸入才能包含所有信息，只看一部分(局部化)可能丟失信息從而導致建模失效；memory cell保留每一步的信息來動態調整下一步。BLSTM由于有雙向信息全局化優勢更加明顯，所以很多非因果的系統里BLSTM性能常常能達到非常好的性能。全局化處理在例如翻譯之類的任務里非常重要，因為少了一個詞意思可能就完全不一樣了，CNN等局部化或感受野不夠大的結構可能會直接失效。

發明內容

發明目的：為了克服普通機器學習的方法在復雜網絡中由于其結構較為單一無法使用，本發明提供一種基于CNN_LSTM的網絡流量異常檢測方法，選用復雜網絡結構更加復雜的深度學習方法。CNN在特征提取方面有很好的特性，LSTM在序列數據方面有較為成熟的應用，通過將CNN和LSTM結合，解決了卷積神經網絡只能學習局部特征但無法處理較長信息的長期依賴問題，加入LSTM可以利用網絡流量的時序性，對惡意流量檢測有較好的效果。

技術方案：為實現上述目的，本發明采用的技術方案為：

一種基于CNN_LSTM的網絡流量異常檢測方法，對NSL_KDD數據集進行預處理，采用卷積神經網絡(CNN)的方法進行特征提取，利用深度學習中長短期記憶網絡(LSTM)來訓練數據，當損失函數滿足條件時終止訓練，將訓練好的模型在測試集進行測試，具體包括以下步驟：

步驟1：采集網絡流量相關數據形成數據集，并對數據集進行預處理：

步驟1-1：數據集中有些字段是非數值的形式，如協議類型字段(TCP，UDP，ICMP)、目標主機的網絡服務類型(http，Telnet，whois，ftp，netstat等等)，模型的輸入只接受數值型的輸入，因此將數據集中非數值的字段通過機器學習模塊sklearn中LabelEncoder()函數將非數值型的數據處理成數值型的形式。

步驟1-2：數據集中有缺失值時要補上，要不會導致算法不收斂，訓練沒有意義。