[發明專利]數據檢測方法、模型訓練方法、裝置及電子設備

在審

• 申請號: 202210105160.7
• 申請日: 2022-01-28
• 公開（公告）號: CN114448699A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 徐鐘豪;王彥磊;謝忱;劉偉
• 申請（專利權）人: 上海斗象信息科技有限公司
• 主分類號: H04L9/40
• 分類號: H04L9/40;G06N20/00;G06K9/62
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 崔振

1.一種數據檢測方法，其特征在于，所述方法包括：

以I個不同時間長度的時間窗口，從原始流量數據采集得到與I個時間窗口對應的流量數據，I為大于1的整數；

通過預設處理算法對所述流量數據進行預處理，得到與每個所述時間窗口的流量數據對應的特征向量；將與所述原始流量數據中的每條流量對應的所述特征向量輸入經過訓練測試的監督學習模型；

將與所述原始流量數據中的每條流量對應的所述特征向量輸入經過訓練測試的監督學習模型，得到由所述監督學習模型輸出的表征所述每條流量是否為僵尸網絡流量的檢測結果；

其中，所述監督學習模型包括M類機器學習模型及N類深度學習模型，所述M類機器學習模型及所述N類深度學習模型均用于對每個所述時間窗口所對應的所述特征向量進行檢測，以得到M+N個初檢結果，當在所述M+N個初檢結果中，超過預設數量的初檢結果均表示同一條待測流量數據為僵尸網絡流量，則所述監督學習模型輸出表征所述待測流量數據為僵尸網絡流量的檢測結果，M、N均為大于或等于1的整數。

2.根據權利要求1所述的方法，其特征在于，通過預設處理算法對所述流量數據進行預處理，得到與每個所述時間窗口的流量數據對應的特征向量，包括：

針對I個時間窗口中的每個時間窗口，提取每個所述時間窗口所采集到的流量數據在多個維度下的流量特征的特征集合；

濾除每個所述時間窗口的所述特征集合中滿足預設過濾條件的流量特征，得到過濾后的特征集合；

基于預設的流量特征與特征向量的映射關系，將所述過濾后的特征集合中的流量特征轉換為與每個所述時間窗口對應的特征向量。

3.根據權利要求2所述的方法，其特征在于，所述方法還包括：

當在所述M+N個初檢結果中，表征同一條所述待測流量數據為僵尸網絡流量的初檢結果的數量小于或等于所述預設數量時，從所述過濾后的特征集合中選取指定類別的流量特征，作為對所述待測流量數據的聚類特征；

根據所述聚類特征，通過預設聚類算法對所述待測流量數據進行聚類，得到聚類結果，所述聚類結果用于表示所述待測流量數據為僵尸網絡流量或為非僵尸網絡流量。

4.根據權利要求1所述的方法，其特征在于，在以I個不同時間長度的時間窗口，從原始流量數據采集得到與I個時間窗口對應的流量數據之前，所述方法還包括：

獲取用于模型訓練測試的流量數據集，所述流量數據集包括表征非僵尸網絡流量的第一類數據集，以及表征僵尸網絡流量的第二類數據集，所述第一類數據集和所述第二類數據集中預設占比的流量數據作為訓練數據集，所述第一類數據集和所述第二類數據集中除去所述訓練數據集之外的流量數據作為測試數據集；

通過所述訓練數據集中的流量數據，對M類機器學習模型及N類深度學習模型進行訓練；

通過所述測試數據集中的流量數據，對經過訓練的M類機器學習模型及N類深度學習模型進行測試，得到經過訓練測試的M類機器學習模型及N類深度學習模型以形成所述監督學習模型。

5.根據權利要求1所述的方法，其特征在于，所述方法還包括：

當所述檢測結果表征所述待測流量數據為僵尸網絡流量時，發出警告提示。

6.根據權利要求1所述的方法，其特征在于，所述M類機器學習模型分別為樸素貝葉斯模型、K近鄰模型、邏輯回歸模型、決策樹模型和隨機森林模型；

所述N類深度學習模型分別為卷積神經網絡模型、遞歸神經網絡模型及長短時記憶網絡模型。