[發明專利]一種數據不平衡場景下的惡意流量檢測方法

在審

• 申請號: 202110249229.9
• 申請日: 2021-03-08
• 公開（公告）號: CN112990286A
• 公開（公告）日: 2021-06-18
• 發明（設計）人: 戚岱杰;竇鳳虎;鄭超;王媛娣
• 申請（專利權）人: 中電積至（海南）信息技術有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;H04L29/06
• 代理公司: 重慶百潤洪知識產權代理有限公司 50219
• 代理人: 陳付玉

1.一種數據不平衡場景下的惡意流量檢測方法，其特征在于，包括以下操作步驟：

S1、獲取訓練集和測試集：通過手動收集各個惡意軟件樣本的流量作為負樣本，并在不運行惡意軟件的相同環境下收集正常流量作為正樣本，或是直接采用標準的公開數據集，將對正常流量和惡意流量構建特征向量，劃分出測試集和訓練集；

S2、對惡意流量進行k-means聚類：將S1中收集的惡意流量作為輸入樣本，然后通過k-means聚類將輸入樣本分為k組；

S3、分配要生成的樣本數量：根據預先設置的過采樣目標，為各個類簇分配要生成的樣本數，然后為少數類樣本占比較高的類簇分配較少的樣本數，將更多樣本分配給少數樣本稀疏分布的類簇；

S4、使用SMOTE進行過采樣：使用SMOTE進行對S3中分配好的樣本進行過采樣，根據指定的用于構建合成樣本的簇內最近鄰居數進行插值，進而生成新樣本；

S5、訓練基于G-mean改進過的ELM分類器：使用新構建的數據集訓練G-mean改進過的ELM分類器；

為了改善經典的ELM算法在不平衡數據學習中的不足，基于G-mean定義了新的損失函數，提出了新的ELM算法，其中G-mean是廣泛應用于不平衡數據學習中的評價度量指標，其定義如下：

假設給定訓練集Φ＝{(x_i,t_i),t_i∈Z^M,i＝1,2,…,N} (2)；

其中Φ中有M類，x_i是一條流的特征向量，t_i∈R^M是其對應的標簽，式(1)中v_j是在第j類的元素中正確分類的元素的數量，V_j是第j類樣本的總量，訓練集Φ也可以寫成其中Φ_j代表第j類，因此每類的訓練誤差定義為：

其中ξ(x)表示第j類中樣本x的分類誤差，ξ(x)定義為ξ(x)＝h(x)β-t(x)，其中t(x)是樣本x對應的標簽，h(x)是隱藏層的輸出，綜上，可將傳統的ELM的損失函數寫作：

從式(4)可以看出，訓練誤差越小，分類精度越好，考慮到使用G-mean作為評價指標，可以重新設計損失函數，使其更適用于樣本不平衡情況，根據Ξ_j的定義可知：

進而有，

根據式(1)可以得出：

由式(5)可以得出，每個類別的訓練誤差乘積越小，G-mean越大，因此最大化Gmean等價于最小化每個類別訓練誤差乘積，即且因此可以將基于G-mean的ELM的代價函數定義如下：

Minimize:

將式(3)帶入可得：

Minimize:

最后將新的優化目標定義如下：

為了得到L_GELM的最小值，需要通過梯度下降等迭代優化算法對式(8)進行求解，最后通過訓練數據對改進的ELM模型進行訓練，得到訓練好的分類模型后對測試集進行測試，并使用G-mean作為評價分類性能的值；

S6、對測試集進行預測：輸入測試集，使用訓練好的ELM分類器對所有測試樣本進行分類，并使用G-mean作為評價指標。

2.根據權利要求1所述的一種數據不平衡場景下的惡意流量檢測方法，其特征在于：所述S1中對于數據集，根據四元組將其劃分為不同的流，并提取每條流的統計特征，與端口信息合并作為總特征，對于分類型特征需要使用one-hot編碼將其轉換為多維向量，對于連續性特征需要對其進行標準化處理，最后得到數據集Φ＝{(x_i,t_i),t_i∈R^M,i＝1,2,…,N}，其中x_i是每條流的特征向量，t_i是x_i對應的標簽。

3.根據權利要求1所述的一種數據不平衡場景下的惡意流量檢測方法，其特征在于：所述S1中采用標準的公開數據集，如KDD99、ISCX_VPN2016等，這些數據集被廣泛用作各類算法的評估，并經過了眾多研究人員的檢驗且標注完善。