[發明專利]一種概念漂移檢測方法及裝置

有效

• 申請號: 202110101772.4
• 申請日: 2021-01-25
• 公開（公告）號: CN112765324B
• 公開（公告）日: 2022-12-23
• 發明（設計）人: 徐小雄
• 申請（專利權）人: 四川虹微技術有限公司
• 主分類號: G06F16/33
• 分類號: G06F16/33;H04L9/40
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 余菲

本申請提供一種概念漂移檢測方法及裝置，應用于流量檢測，其中，在概念漂移檢測方法中，電子設備獲取待檢測流量數據以及用于對比的參考流量數據，并分別將待檢測流量數據轉換為待檢測分詞向量以及將參考流量數據轉換為參考分詞向量，以根據待檢測分詞向量與參考分詞向量之間的相似度檢測當前流量是否存在概念漂移，從而可以在存在概念漂移時對異常流量檢測模型進行更新，因此可以解決基于機器學習的異常檢測方法在檢測過程中出現的準確率下降和誤報率上升的問題。

技術領域

本申請涉及流量檢測領域，具體而言，涉及一種概念漂移檢測方法及裝置。

背景技術

隨著機器學習的發展，機器學習在異常網絡流量檢測領域的應用逐漸增加，并且能夠準確的檢查出流量中存在的新型未知攻擊。但是，由于流式數據表現出的概念漂移問題，即數據的樣式、含義、內容等會隨著時間產生變化，從而使得在采用機器學習的方法進行實時網絡異常檢測時，會出現準確率隨時間下降、誤報率不斷增加的情況。

發明內容

本申請實施例的目的在于提供一種概念漂移檢測方法及裝置，用以解決基于機器學習的異常檢測方法在檢測過程中出現的準確率下降和誤報率上升的問題。的技術問題。

為了實現上述目的，本申請實施例所提供的技術方案如下所示：

第一方面，本申請實施例提供一種概念漂移檢測方法，包括：獲取待檢測流量數據以及參考流量數據；其中，所述參考流量數據為異常流量檢測模型剛部署后采集的歷史流量，所述待檢測流量數據與所述參考流量數據的流量條數相同；對所述待檢測流量數據以及所述參考流量數據進行字段提取，得到所述待檢測流量數據對應的待檢測字段以及所述參考流量數據對應的參考字段；利用預先創建好的詞表將所述待檢測字段轉換為待檢測分詞向量，以及利用所述預先創建好的詞表將所述參考字段轉換為參考分詞向量；判斷所述待檢測分詞向量與所述參考分詞向量是否相似；若所述待檢測分詞向量與所述參考分詞向量不相似，則確定所述待檢測流量數據對應的流量存在概念漂移，以對所述異常流量檢測模型進行更新。在上述方案中，電子設備獲取待檢測流量數據以及用于對比的參考流量數據，并分別將待檢測流量數據轉換為待檢測分詞向量以及將參考流量數據轉換為參考分詞向量，以根據待檢測分詞向量與參考分詞向量之間的相似度檢測當前流量是否存在概念漂移，從而可以在存在概念漂移時對異常流量檢測模型進行更新，因此可以解決基于機器學習的異常檢測方法在檢測過程中出現的準確率下降和誤報率上升的問題。

在本申請的可選實施例中，所述待檢測流量數據為當前時間之前的實時流量。在上述方案中，可以對實時的待檢測數據進行概念漂移檢測，以及時對異常流量檢測模型進行更新。

在本申請的可選實施例中，所述對所述待檢測流量數據以及所述參考流量數據進行字段提取，包括：根據流量的協議類型對所述待檢測流量數據以及所述參考流量數據進行字段提取。

在本申請的可選實施例中，所述利用預先創建好的詞表將所述參考字段轉換為參考分詞向量，包括：利用所述預先創建好的詞表對所述參考字段進行分詞，得到分詞后的詞語；將所述分詞后的詞語轉換為所述預先創建好的詞表中對應的數字，形成所述待檢測分詞向量。在上述方案中，可以利用預先創建好的詞表將參考字段轉換為參考分詞向量，從而可以利用參考分詞向量進行運算，既方便又可以降低運算量。

在本申請的可選實施例中，所述利用預先創建好的詞表將所述待檢測字段轉換為待檢測分詞向量，包括：利用所述預先創建好的詞表對所述待檢測字段進行分詞，得到分詞后的詞語；將所述分詞后的詞語轉換為所述預先創建好的詞表中對應的數字，形成所述參考分詞向量。在上述方案中，可以利用預先創建好的詞表將待檢測字段轉換為待檢測分詞向量，從而可以利用待檢測分詞向量進行運算，既方便又可以降低運算量。

在本申請的可選實施例中，所述判斷所述待檢測分詞向量與所述參考分詞向量是否相似，包括：利用如下公式計算所述待檢測分詞向量的數據分布與所述參考分詞向量的數據分布在希爾伯特空間中的距離：