[發明專利]基于知識蒸餾的深度神經網絡模型的流量分類方法及裝置

在審

• 申請號: 202011186016.8
• 申請日: 2020-10-30
• 公開（公告）號: CN112367273A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 趙宇;魯敏;周斌;卜智勇
• 申請（專利權）人: 上海瀚訊信息技術股份有限公司
• 主分類號: H04L12/851
• 分類號: H04L12/851;H04L29/06;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海智信專利代理有限公司 31002
• 代理人: 鄧琪

1.一種基于知識蒸餾的深度神經網絡模型的流量分類方法，其特征在于，包括：

步驟S1：構造一個深度神經網絡作為用于流量分類的教師網絡模型；

步驟S2：獲取并預處理真實網絡環境中的流量數據，得到網絡流量數據庫，作為訓練集、驗證集和測試集；

步驟S3：使用網絡流量數據庫和硬標簽來訓練教師網絡模型，訓練結束后保存經過訓練的教師網絡模型；

步驟S4：構建復雜度低于所述教師網絡模型的用于流量分類的學生網絡模型；

步驟S5：基于知識蒸餾方法輔助訓練所述學生網絡模型；

步驟S6：采用學生網絡模型對流量數據進行分類。

2.根據權利要求1所述的基于知識蒸餾的深度神經網絡模型的流量分類方法，其特征在于，在所述步驟S1中，所述教師網絡模型設置為通過提取流量數據的深層特征，將流量分類問題轉化為一個多目標分類任務來用于流量分類。

3.根據權利要求1所述的基于知識蒸餾的深度神經網絡模型的流量分類方法，其特征在于，在所述步驟S2中，所述流量數據通過流捕獲工具從互聯網上收集流量記錄來獲取的，所述預處理操作包括去除原始數據包中的不相關數據包、數據包過濾、數據包標頭刪除、數據歸一化和統一數據包長度的操作。

4.根據權利要求1所述的基于知識蒸餾的深度神經網絡模型的流量分類方法，其特征在于，在所述步驟S4中所述學生網絡模型通過將教師網絡模型按比例進行壓縮得到，兩者的總參數量成比例；所述教師網絡模型的每秒鐘浮點運算量的數量級為10⁸、總參數量的數量級為10⁷；所述學生網絡模型的每秒鐘浮點運算量的數量級為10⁶、總參數量的數量級為10⁴。

5.根據權利要求1所述的基于知識蒸餾的深度神經網絡模型的流量分類方法，其特征在于，所述教師網絡模型和學生網絡模型均采用一卷積神經網絡和一softmax輸出層。

6.根據權利要求5所述的基于知識蒸餾的深度神經網絡模型的流量分類方法，其特征在于，在步驟S3中，將訓練集中的數據逐個輸入教師網絡模型，設置其softmax輸出層的溫度T＝1，以將教師網絡模型的卷積神經網絡的最后一層輸出z_i轉化成類別概率q_i，得到分類結果，訓練結束后保存經過訓練的教師網絡模型。

7.根據權利要求6所述的基于知識蒸餾的深度神經網絡模型的流量分類方法，其特征在于，所述步驟S5包括：

步驟S51：采用T1的softmax輸出層的溫度生成教師網絡模型的軟標簽；

步驟S52：根據所述硬標簽與軟標簽得到學生網絡模型訓練時的損失函數；

步驟S53：進行誤差反向傳播，更新學生網絡模型的參數；

步驟S54：重復上述步驟S51-步驟S53直到訓練結束，此時保存所述學生網絡模型。