[發(fā)明專利]一種基于網絡流量分析的異常檢測方法

有效

• 申請?zhí)枺?/td>: 201210560973.1
• 申請日: 2012-12-20
• 公開（公告）號: CN103023725A
• 公開（公告）日: 2013-04-03
• 發(fā)明（設計）人: 賴英旭;李秀龍;楊震;劉靜;李健
• 申請（專利權）人: 北京工業(yè)大學
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L29/06
• 代理公司: 北京思海天達知識產權代理有限公司 11203
• 代理人: 劉萍

技術領域：

本發(fā)明涉及一種基于網絡流量分析的異常檢測方法，屬于信息安全領域。?

背景技術：

隨著計算機和互聯網絡技術的快速發(fā)展與廣泛應用，計算機網絡系統的安全受到嚴重的挑戰(zhàn)，來自計算機病毒和黑客攻擊及其他方面的威脅越來越大，因此在用戶上網時檢測異常是困難的。首先，網絡中存在各種各樣的異常。異常可能來自具有惡意企圖的網絡活動，如端口掃描，分布式拒絕服務攻擊，也可能是用戶誤操作和網絡故障，如鏈路故障，路由問題，測量設備的緩沖溢出等。其次，存在高維流量特征異常的現象。在檢測過程中，如果所選特征子集是低維的，則不足以描述網絡流量及其含有異常的特性；如果所選特征子集是高維的，則增加了檢測和分類模塊的計算復雜度。因此如何根據實際流量動態(tài)選擇合適的流量特征來檢測異常是研究人員面臨的挑戰(zhàn)。

國內外現有的異常檢測方法主要有統計分析，數據挖掘，機器學習等多種方法，但是這些方法已經研究了很多年，技術已經基本成熟，對于各種方法本身存在的缺陷仍然無法克服。所以需要一種新的異常檢測方法來完善異常檢測領域的不足。已有方法的不足主要體現在檢測復雜度高，檢測準確率不理想等方面。為了改善這方面的不足，快速準確的檢測用戶上網過程中出現的異常，發(fā)明人通過對各種網絡流量進行深入分析，提出一個比較完備的網絡流量初始特征集，并根據具體的異常類型動態(tài)選擇出最優(yōu)的異常檢測特征集，最后利用貝葉斯分類算法根據異常檢測特征子集對未知樣本進行類別預測。采用這種方法，有助于降低用于檢測異常的流量特征維數，提高異常檢測的準確率。

發(fā)明內容：

針對上述問題，本發(fā)明提出了一種通過對網絡流量進行分析來檢測異常的方法，旨在建立一個完善的檢測系統，實現對網絡異常的檢測，檢測系統分為三個模塊：數據預處理模塊、特征選擇模塊和異常檢測模塊。本發(fā)明的特征在于依次包括以下步驟：

1）首先進行數據預處理：獲取主機上網流量，然后根據初始特征集和預先設定的時間窗口(時間間隔)長度對主機上網流量進行數據預處理，提取主機上網流量在各個時間窗口內的初始特征值(相同時間間隔內特征的取值)，形成樣本集(樣本集由多個樣本組成，每個樣本包含110個網絡流量初始特征的值)，本發(fā)明提出的網絡流量初始特征集合如下表所示，它是主機在一定時間間隔(如2s)內產生的網絡流量的110個統計量:表1?網絡流量初始特征集

初始特征集包含110個特征，對網絡流量的特性有了一個較為完整的描述。

2）然后進行特征選擇：在特征選擇之前，先給出相關的定義：

定義1?正常樣本集是正常的網絡流量經過步驟1中的數據預處理之后產生的正常樣本的集合。每個樣本包含一定時間間隔內110個網絡流量初始特征的值。

定義2?異常樣本集是異常的網絡流量經過步驟1中的數據預處理之后產生的異常樣本的集合。每個樣本包含一定時間間隔內110個網絡流量初始特征的值。異常網絡流量包括網絡故障產生的網絡流量以及惡意代碼產生的網絡流量。?

定義3?定義偏離度計算公式,用于計算一個未知樣本的110個特征與已知樣本集對應特征的偏離程度。其中μi為已知樣本集的110個特征中的一個特征i的平均值，即已知樣本集中特征i取值大于零的樣本在特征i上的取值的算術平均值。max_i是已知樣本集中所有樣本在特征i上的取值的最大值，x_i是新出現的一個未知樣本中特征i的值，i是特征編號，i=1,2,…,110。

定義4?定義threshold為特征集偏離度之比門限值，即選擇出的特征子集中所有特征的偏離度之和占初始特征集中所有特征偏離度之和的比重的門限值，若果選擇出的特征子集達到此門限值，則該特征子集可以用來進行異常檢測。設定該門限值的取值范圍為[0.5,1),門限值取值越大，選擇出的特征子集的特征個數越多，后續(xù)的計算復雜度也會越高，建議取值0.5會取得很好的效果。

定義5?定義compression_ratio為特征壓縮率門限值，即選擇出的特征子集的特征個數占初始特征集特征個數比重的門限值，如果選擇出的特征子集低于該門限值，則該特征子集可以用來進行異常檢測。設定該門限值的取值范圍為(0.01,0.5),?門限值取值越大，選擇出的特征子集的特征個數越多，后續(xù)的計算復雜度也會越高，建議取值0.1會取得很好的效果。?