[發(fā)明專利]一種基于時間序列挖掘的網(wǎng)絡(luò)異常流量自動檢測方法

有效

• 申請?zhí)枺?/td>: 202010611946.7
• 申請日: 2020-06-30
• 公開（公告）號: CN111835738B
• 公開（公告）日: 2021-09-24
• 發(fā)明（設(shè)計）人: 展鵬;李學(xué)慶;許浩然;胡宇鵬
• 申請（專利權(quán)）人: 山東大學(xué);賽爾網(wǎng)絡(luò)有限公司
• 主分類號: H04L29/06
• 分類號: H04L29/06
• 代理公司: 濟南金迪知識產(chǎn)權(quán)代理有限公司 37219
• 代理人: 孫倩文

1.一種基于時間序列挖掘的網(wǎng)絡(luò)異常流量自動檢測方法，其特征在于，包括：

步驟1：通過數(shù)據(jù)導(dǎo)入模塊將標(biāo)準(zhǔn)的網(wǎng)絡(luò)流量數(shù)據(jù)進行數(shù)據(jù)值讀取，該標(biāo)準(zhǔn)的網(wǎng)絡(luò)流量數(shù)據(jù)包括數(shù)據(jù)導(dǎo)入模板以及第三方系統(tǒng)導(dǎo)出的網(wǎng)絡(luò)流量數(shù)據(jù)，然后抽取核心字段，形成初始時間序列模型；

步驟2：將步驟1得到的初始時間序列模型采用Z-Score標(biāo)準(zhǔn)化方法進行標(biāo)準(zhǔn)化處理，得到標(biāo)準(zhǔn)化后的網(wǎng)絡(luò)流量數(shù)據(jù)序列，簡稱數(shù)據(jù)序列，并存儲在系統(tǒng)數(shù)據(jù)庫中以待后續(xù)檢測；

步驟3：從系統(tǒng)數(shù)據(jù)庫取出待檢測的數(shù)據(jù)序列，將其放入緩沖空間中，在放入緩沖空間過程中，利用滑動窗口對數(shù)據(jù)序列進行掃描，按照指定滑動窗口大小對數(shù)據(jù)序列進行切分，得到若干網(wǎng)絡(luò)流量數(shù)據(jù)子序列，簡稱數(shù)據(jù)子序列；

步驟4：利用快速學(xué)習(xí)方法，得到待檢測數(shù)據(jù)子序列的最優(yōu)前后松弛空間OPSRS，具體為：

a.輸入待學(xué)習(xí)的數(shù)據(jù)子序列，設(shè)置前后松弛空間參數(shù)的最大取值為P_max，即0≤PSRS≤P_max；

b.初始化參數(shù)學(xué)習(xí)查找表，該查找表是一個二維數(shù)據(jù)，存儲每條數(shù)據(jù)序列在每個前后松弛空間參數(shù)PSRS下的最近鄰子序列以及對應(yīng)的前后松弛空間的動態(tài)時間彎曲距離；

c.令PSRS從0開始，步長為1，最大值為P_max，循環(huán)查找每條數(shù)據(jù)子序列的最近鄰子序列以及對應(yīng)的前后松弛空間的動態(tài)時間彎曲距離；在查找過程中，采用基于前后松弛空間的動態(tài)時間彎曲的下界距離進行快速剪枝，得到計算后的參數(shù)學(xué)習(xí)查找表；

設(shè)當(dāng)前待檢測子序列為A，其最近鄰子序列為K，對應(yīng)的前后松弛空間的動態(tài)時間彎曲下界距離和真實距離分別為LB_Dist和Dist，當(dāng)檢測子序列B是否為A的最近鄰時，優(yōu)先計算子序列A與子序列B的前后松弛空間的動態(tài)時間彎曲下界距離，設(shè)為LB_Dist_AB，若LB_Dist_AB＞LB_Dist，則可直接濾過子序列B；否則計算子序列A與子序列B的前后松弛空間的動態(tài)時間彎曲真實距離Dist_AB，若Dist_AB＜Dist，則更新子序列B為子序列A的當(dāng)前最近子序列，其對應(yīng)的前后松弛空間的動態(tài)時間彎曲距離即為其最近距離，否則跳過子序列B，繼續(xù)進行循環(huán)判斷；

d.通過步驟c得出參數(shù)學(xué)習(xí)查找表后，循環(huán)查找表，利用子序列檢測到的最近子序列的分類得出每個前后松弛空間參數(shù)PSRS下的分類錯誤率，具有最小分類錯誤率的PSRS即為最優(yōu)前后松弛空間OPSRS；

步驟5：利用前后松弛空間的動態(tài)時間彎曲方法計算各數(shù)據(jù)子序列之間的距離，得到數(shù)據(jù)子序列相似矩陣；

步驟6：根據(jù)步驟5得到的數(shù)據(jù)子序列相似矩陣，計算得出每個數(shù)據(jù)子序列異常程度得分，異常程度得分由以下公式計算得出：

其中，AS記為異常得分結(jié)果集，AS_i記為子序列s_i的異常得分，為子序列s_i與子序列s_j的前后松弛空間的動態(tài)時間彎曲距離，I為子序列個數(shù)；

步驟7：將每條數(shù)據(jù)子序列的異常程度得分與異常閾值δ進行比較，若數(shù)據(jù)子序列的異常程度得分小于異常閾值δ，則判斷其為正常子序列，否則為異常子序列；

步驟8：判斷是否還有其他待檢測的網(wǎng)絡(luò)流量數(shù)據(jù)序列，若有，則轉(zhuǎn)至步驟3，否則，處理結(jié)束；

步驟1中，數(shù)據(jù)導(dǎo)入模板包括excel模板、csv模板，模板字段包括：時間標(biāo)識、總流量、流入流量、流出流量、備注，通過數(shù)據(jù)導(dǎo)入模塊將數(shù)據(jù)導(dǎo)入模板內(nèi)的數(shù)據(jù)值讀取，核心字段為時間標(biāo)識t和流量值v，流量值v包括總流量、流入流量、流出流量，讀取到的數(shù)據(jù)即為帶有時間標(biāo)識的網(wǎng)絡(luò)流量數(shù)據(jù)值，與時間序列模型一致，稱為初始時間序列模型；

第三方系統(tǒng)導(dǎo)出的網(wǎng)絡(luò)流量數(shù)據(jù)在數(shù)據(jù)的第一行明確“時間標(biāo)識、總流量、流入流量、流出流量、備注”對應(yīng)的數(shù)據(jù)列；

為精確檢測異常的發(fā)生時段，在步驟8之后還設(shè)計了一種網(wǎng)絡(luò)異常流量檢測下鉆方法，具體為：

步驟i：將步驟8檢測出的月度異常數(shù)據(jù)序列作為待檢測輸入數(shù)據(jù)，進入數(shù)據(jù)緩沖空間，并利用滑動窗口將月度異常數(shù)據(jù)序列切分成每日數(shù)據(jù)子序列；

步驟ii：利用快速學(xué)習(xí)方法，學(xué)習(xí)最優(yōu)前后松弛空間，得到每日數(shù)據(jù)異常子序列的最優(yōu)前后松弛空間OPSRS，操作過程與上述步驟4一致；

步驟iii：利用前后松弛空間的動態(tài)時間彎曲方法計算每日數(shù)據(jù)異常子序列之間的距離，得到數(shù)據(jù)子序列相似矩陣，進而計算得出當(dāng)前數(shù)據(jù)緩沖空間數(shù)據(jù)子序列的異常程度得分，即每日數(shù)據(jù)子序列的異常程度得分；

步驟iv：將步驟iii中獲得的當(dāng)前數(shù)據(jù)緩沖空間中的每日數(shù)據(jù)子序列的異常程度得分與異常閾值δ比較，操作方式如上述步驟7，輸出每日數(shù)據(jù)子序列中的異常序列；截至目前，從步驟i至步驟iv，完成了月度異常數(shù)據(jù)序列下鉆發(fā)現(xiàn)每日異常數(shù)據(jù)序列。