[發(fā)明專利]一種數(shù)據(jù)不平衡場景下的惡意流量檢測方法

在審

• 申請?zhí)枺?/td>: 202110249229.9
• 申請日: 2021-03-08
• 公開（公告）號: CN112990286A
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計）人: 戚岱杰;竇鳳虎;鄭超;王媛娣
• 申請（專利權(quán)）人: 中電積至（海南）信息技術(shù)有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;H04L29/06
• 代理公司: 重慶百潤洪知識產(chǎn)權(quán)代理有限公司 50219
• 代理人: 陳付玉

1.一種數(shù)據(jù)不平衡場景下的惡意流量檢測方法，其特征在于，包括以下操作步驟：

S1、獲取訓(xùn)練集和測試集：通過手動收集各個惡意軟件樣本的流量作為負樣本，并在不運行惡意軟件的相同環(huán)境下收集正常流量作為正樣本，或是直接采用標準的公開數(shù)據(jù)集，將對正常流量和惡意流量構(gòu)建特征向量，劃分出測試集和訓(xùn)練集；

S2、對惡意流量進行k-means聚類：將S1中收集的惡意流量作為輸入樣本，然后通過k-means聚類將輸入樣本分為k組；

S3、分配要生成的樣本數(shù)量：根據(jù)預(yù)先設(shè)置的過采樣目標，為各個類簇分配要生成的樣本數(shù)，然后為少數(shù)類樣本占比較高的類簇分配較少的樣本數(shù)，將更多樣本分配給少數(shù)樣本稀疏分布的類簇；

S4、使用SMOTE進行過采樣：使用SMOTE進行對S3中分配好的樣本進行過采樣，根據(jù)指定的用于構(gòu)建合成樣本的簇內(nèi)最近鄰居數(shù)進行插值，進而生成新樣本；

S5、訓(xùn)練基于G-mean改進過的ELM分類器：使用新構(gòu)建的數(shù)據(jù)集訓(xùn)練G-mean改進過的ELM分類器；

為了改善經(jīng)典的ELM算法在不平衡數(shù)據(jù)學(xué)習(xí)中的不足，基于G-mean定義了新的損失函數(shù)，提出了新的ELM算法，其中G-mean是廣泛應(yīng)用于不平衡數(shù)據(jù)學(xué)習(xí)中的評價度量指標，其定義如下：

假設(shè)給定訓(xùn)練集Φ＝{(x_i,t_i),t_i∈Z^M,i＝1,2,…,N} (2)；

其中Φ中有M類，x_i是一條流的特征向量，t_i∈R^M是其對應(yīng)的標簽，式(1)中v_j是在第j類的元素中正確分類的元素的數(shù)量，V_j是第j類樣本的總量，訓(xùn)練集Φ也可以寫成其中Φ_j代表第j類，因此每類的訓(xùn)練誤差定義為：

其中ξ(x)表示第j類中樣本x的分類誤差，ξ(x)定義為ξ(x)＝h(x)β-t(x)，其中t(x)是樣本x對應(yīng)的標簽，h(x)是隱藏層的輸出，綜上，可將傳統(tǒng)的ELM的損失函數(shù)寫作：

從式(4)可以看出，訓(xùn)練誤差越小，分類精度越好，考慮到使用G-mean作為評價指標，可以重新設(shè)計損失函數(shù)，使其更適用于樣本不平衡情況，根據(jù)Ξ_j的定義可知：

進而有，

根據(jù)式(1)可以得出：

由式(5)可以得出，每個類別的訓(xùn)練誤差乘積越小，G-mean越大，因此最大化Gmean等價于最小化每個類別訓(xùn)練誤差乘積，即且因此可以將基于G-mean的ELM的代價函數(shù)定義如下：

Minimize:

將式(3)帶入可得：

Minimize:

最后將新的優(yōu)化目標定義如下：

為了得到L_GELM的最小值，需要通過梯度下降等迭代優(yōu)化算法對式(8)進行求解，最后通過訓(xùn)練數(shù)據(jù)對改進的ELM模型進行訓(xùn)練，得到訓(xùn)練好的分類模型后對測試集進行測試，并使用G-mean作為評價分類性能的值；

S6、對測試集進行預(yù)測：輸入測試集，使用訓(xùn)練好的ELM分類器對所有測試樣本進行分類，并使用G-mean作為評價指標。

2.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)不平衡場景下的惡意流量檢測方法，其特征在于：所述S1中對于數(shù)據(jù)集，根據(jù)四元組將其劃分為不同的流，并提取每條流的統(tǒng)計特征，與端口信息合并作為總特征，對于分類型特征需要使用one-hot編碼將其轉(zhuǎn)換為多維向量，對于連續(xù)性特征需要對其進行標準化處理，最后得到數(shù)據(jù)集Φ＝{(x_i,t_i),t_i∈R^M,i＝1,2,…,N}，其中x_i是每條流的特征向量，t_i是x_i對應(yīng)的標簽。

3.根據(jù)權(quán)利要求1所述的一種數(shù)據(jù)不平衡場景下的惡意流量檢測方法，其特征在于：所述S1中采用標準的公開數(shù)據(jù)集，如KDD99、ISCX_VPN2016等，這些數(shù)據(jù)集被廣泛用作各類算法的評估，并經(jīng)過了眾多研究人員的檢驗且標注完善。