[發明專利]一種基于增量學習的未知異常流量在線檢測方法及系統

有效

• 申請號: 202110472804.1
• 申請日: 2021-04-29
• 公開（公告）號: CN113259331B
• 公開（公告）日: 2022-10-11
• 發明（設計）人: 杜海舟;王士維
• 申請（專利權）人: 上海電力大學
• 主分類號: H04L9/40
• 分類號: H04L9/40;G06N20/00;G06N3/08;G06N3/04;G06K9/62
• 代理公司: 南京禹為知識產權代理事務所(特殊普通合伙) 32272
• 代理人: 王曉東

本發明公開了一種基于增量學習的未知異常流量在線檢測方法及系統，包括，基于深度學習構建初始分類模型，并利用Softmax分類器對初始分類模型進行初始訓練；通過未知檢測模塊判斷輸入的數據樣本為已知類別還是未知類別，而后自動標記未知類別的樣本特征，并將樣本特征添加到網絡更新模塊和緩沖區模塊；通過網絡更新模塊更新訓練初始分類模型，將未知類別轉換為已知類別；通過緩沖區模塊存儲未知類別的樣本特征和標簽，以適應在線模式和幫助區分未知異常的類型；本發明通過增量訓練的方式，實現對新樣本的學習以及模型的更新，和實現了對未知異常進行識別；同時提高了未知異常流量檢測的準確度和速度。

技術領域

本發明涉及機器學習網絡異常檢測的技術領域，尤其涉及一種基于增量學習的未知異常流量在線檢測方法及系統。

背景技術

網絡流量異常檢測問題是網絡安全研究工作中的一個重要課題，目前關于網絡異常流量的檢測的研究大都是基于一個封閉的場景，即所有的類別都是已知的。然而在現實網絡環境中，未知異常流量的檢測是一個基于開放集的場景，即可能會遇到未知(先前未見過)類別的流量數據。未知異常流量的檢測對于維護網絡安全具有重要意義。

雖然基于開放集的未知異常檢測方法取得了一些顯著的效果，然而這些方法僅能判別出已知或未知，而無法區分出不同未知異常的類型。同時，這些方法的模型訓練需要大量時間，無法滿足網絡對于實時檢測未知異常的需求。因此，如何判別已知與未知、區分不同未知異常的類型以及在線檢測未知異常是未知異常流量檢測問題面臨的三個重要難點。

發明內容

本部分的目的在于概述本發明的實施例的一些方面以及簡要介紹一些較佳實施例。在本部分以及本申請的說明書摘要和發明名稱中可能會做些簡化或省略以避免使本部分、說明書摘要和發明名稱的目的模糊，而這種簡化或省略不能用于限制本發明的范圍。

鑒于上述現有存在的問題，提出了本發明。

因此，本發明提供了一種基于增量學習的未知異常流量在線檢測方法，能夠解決現有技術無法區分出不同未知異常的類型和需要大量時間訓練模型的問題。

為解決上述技術問題，本發明提供如下技術方案：包括，基于深度學習構建初始分類模型，并利用Softmax分類器對所述初始分類模型進行初始訓練；通過未知檢測模塊判斷輸入的數據流量樣本為已知類別還是未知類別，而后自動標記未知類別的流量樣本特征，并將所述流量樣本特征添加到網絡更新模塊和緩沖區模塊；通過網絡更新模塊更新訓練所述初始分類模型，將所述未知類別轉換為所述已知類別；通過緩沖區模塊存儲所述未知類別的流量樣本特征和標簽，當輸入流量樣本被檢測為所述未知類別時，需要再次與緩沖區模塊的未知類別的流量樣本進行比較，若在緩沖區中發現流量樣本特征為所述已知類別，則輸出流量樣本所屬的類；否則，添加流量樣本至所述緩沖區模塊。

作為本發明所述的基于增量學習的未知異常流量在線檢測方法的一種優選方案，其中：構建所述初始分類模型包括，所述初始分類模型包括卷積神經網絡和長短期記憶人工神經網絡，利用交叉熵作為初始分類模型的損失函數，根據所述損失函數并利用Softmax分類器對所述初始分類模型進行初始訓練。

作為本發明所述的基于增量學習的未知異常流量在線檢測方法的一種優選方案，其中：判斷輸入的數據流量樣本包括，根據下式計算每個流量樣本特征f_i與每個類別原型p_j之間的歐氏距離，獲得距離分布矩陣Dist：

基于平均距離分布矩陣構建閾值函數，根據所述閾值函數判別輸入的數據流量樣本為已知類別還是未知類別；其中，i＝1,…,S為每一批特征的流量樣本數，j＝1,…,n為原型的類別數，ε為設置的參數。

作為本發明所述的基于增量學習的未知異常流量在線檢測方法的一種優選方案，其中：所述閾值函數包括，