[發(fā)明專利]基于知識蒸餾的深度神經網絡模型的流量分類方法及裝置

在審

• 申請?zhí)枺?/td>: 202011186016.8
• 申請日: 2020-10-30
• 公開（公告）號: CN112367273A
• 公開（公告）日: 2021-02-12
• 發(fā)明（設計）人: 趙宇;魯敏;周斌;卜智勇
• 申請（專利權）人: 上海瀚訊信息技術股份有限公司
• 主分類號: H04L12/851
• 分類號: H04L12/851;H04L29/06;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海智信專利代理有限公司 31002
• 代理人: 鄧琪

本發(fā)明提供一種基于知識蒸餾的深度神經網絡模型的流量分類方法，包括：構造一個深度神經網絡作為用于流量分類的教師網絡模型；獲取并預處理真實網絡環(huán)境中的流量數據，得到網絡流量數據庫，作為訓練集、驗證集和測試集；使用網絡流量數據庫和硬標簽來訓練教師網絡模型，訓練結束后保存經過訓練的教師網絡模型；構建復雜度低于教師網絡模型的學生網絡模型；基于知識蒸餾方法輔助訓練學生網絡模型；采用學生網絡模型對流量數據進行分類。本發(fā)明還提供了相應的流量分類裝置。本發(fā)明的流量分類方法可以進一步減少流量分類模型的存儲和計算成本、對促進入侵檢測系統的邊緣部署和網絡智能化管理具有十分重要的意義。

技術領域

本發(fā)明涉及信息處理技術領域，特別是涉及一種基于知識蒸餾的深度神經網絡模型的流量分類方法及裝置。

背景技術

隨著互聯網應用的快速發(fā)展，網絡規(guī)模不斷擴大，網絡組成日趨復雜。流量分類作為網絡管理的基礎工作，一直是網絡人員關注的重點。準確高效的流量分類在網絡服務質量保障、網絡安全管理和入侵檢測系統中起著至關重要的作用。這一研究引起了學術界和工業(yè)界的廣泛關注。為了實現網絡智能化管理，需減少繁瑣的流量分類計算、將處理智能部署到計算資源有限的物聯網邊緣設備上。

目前關于流量分類問題的大多根據協議簇進行分類，將流量分為加密和非加密數據流量。通過機器學習的方法采用預先定義的數據特征解決基于端口和基于負載的流量分類問題，該方法依賴于流量的統計或時間序列特征，采用支持向量機、隨機森林、決策樹進行分類。但是這些機器學習方法需要手工提取特征并且需要很強的專家經驗，特征選擇中耗時且費力的問題阻礙了此類方法的進一步發(fā)展。深度學習可以節(jié)省手動提取特征的繁瑣步驟，使用堆疊式自編碼器，卷積神經網絡進行流量識別的方法使得數據特征學習更加充分，對于流量的識別也更加準確，但是這些神經網絡模型的參數量和運算量巨大，給進一步在資源受限的物聯網邊緣設備上的部署帶來了困難，阻礙了流量分類技術在網絡智能化管理應用中的進一步發(fā)展。

發(fā)明內容

本發(fā)明的目的在于提供一種基于知識蒸餾的深度神經網絡模型的流量分類方法及裝置，以進一步減少網絡模型的存儲和計算成本。

為了實現上述目的，本發(fā)明提供了一種基于知識蒸餾的深度神經網絡模型的流量分類方法，包括：

S1：構造一個深度神經網絡作為用于流量分類的教師網絡模型；

S2：獲取并預處理真實網絡環(huán)境中的流量數據，得到網絡流量數據庫，作為訓練集、驗證集和測試集；

S3：使用網絡流量數據庫和硬標簽來訓練教師網絡模型，訓練結束后保存經過訓練的教師網絡模型；

S4：構建復雜度低于所述教師網絡模型的用于流量分類的學生網絡模型；

S5：基于知識蒸餾方法輔助訓練所述學生網絡模型；

S6：采用學生網絡模型對流量數據進行分類。

在所述步驟S1中，所述教師網絡模型設置為通過提取流量數據的深層特征，將流量分類問題轉化為一個多目標分類任務來用于流量分類。

在所述步驟S2中，所述流量數據通過流捕獲工具從互聯網上收集流量記錄來獲取的，所述預處理操作包括去除原始數據包中的不相關數據包、數據包過濾、數據包標頭刪除、數據歸一化和統一數據包長度的操作。

在所述步驟S4中所述學生網絡模型通過將教師網絡模型按比例進行壓縮得到，兩者的總參數量成比例；所述教師網絡模型的每秒鐘浮點運算量的數量級為10⁸、總參數量的數量級為10⁷；所述學生網絡模型的每秒鐘浮點運算量的數量級為10⁶、總參數量的數量級為10⁴。

所述教師網絡模型和學生網絡模型均采用一卷積神經網絡和一softmax 輸出層。