[發(fā)明專利]基于固定存儲空間的網(wǎng)絡(luò)流實時自適應(yīng)測量方法

有效

• 申請?zhí)枺?/td>: 200810019277.3
• 申請日: 2008-01-18
• 公開（公告）號: CN101257415A
• 公開（公告）日: 2008-09-03
• 發(fā)明（設(shè)計）人: 程光;龔儉;江潔欣;史海濤;丁偉;吳樺
• 申請（專利權(quán)）人: 東南大學(xué)
• 主分類號: H04L12/26
• 分類號: H04L12/26;H04L12/56
• 代理公司: 南京經(jīng)緯專利商標(biāo)代理有限公司
• 代理人: 奚幼堅

技術(shù)領(lǐng)域

本發(fā)明涉及用于網(wǎng)絡(luò)流量的自適應(yīng)測量方法，尤其是一種在高速大規(guī)模網(wǎng)絡(luò)中基于固定存儲空間的網(wǎng)絡(luò)流實時自適應(yīng)測量方法。

背景技術(shù)

網(wǎng)絡(luò)流在網(wǎng)絡(luò)中應(yīng)用非常廣泛，基于網(wǎng)絡(luò)流的行為分析和異常檢測是熱點研究問題，在IETF組織中有二個工作組專門研究網(wǎng)絡(luò)流的有關(guān)問題，實時流測量工作組RTFM和網(wǎng)絡(luò)流信息輸出工作組IPFIX，他們的工作是建立網(wǎng)絡(luò)流測量的相關(guān)通用標(biāo)準。由于互聯(lián)網(wǎng)的“更大、更快、突變”的特性，使得基于抽樣的近似測量技術(shù)成為目前網(wǎng)絡(luò)流測量的重點研究問題。

由于測量資源的限制，測量系統(tǒng)難以記錄所有通過被測量鏈路的流量，因此采用抽樣的方法測量部分通過鏈路的報文。測量系統(tǒng)一般是由按照具有相同的流標(biāo)識的報文組合在一起，由于網(wǎng)絡(luò)流數(shù)量和報文數(shù)量之間沒有對應(yīng)關(guān)系，以及流量的突發(fā)特性，測量系統(tǒng)無法在測量開始的時刻設(shè)定抽樣參數(shù)，使得同時固定一個測量時間區(qū)間和測量網(wǎng)絡(luò)流的存儲空間。如果抽樣參數(shù)設(shè)置太少，則測量結(jié)果的估計精度較低，在測量時間區(qū)間結(jié)束的時候，大量存儲空間沒有使用，浪費測量資源的消耗。而如果抽樣參數(shù)設(shè)置過大，在測量時間區(qū)間沒有結(jié)束的時候，網(wǎng)絡(luò)流存儲空間已經(jīng)用完，無法繼續(xù)測量剩余時間中的流量。

由于網(wǎng)絡(luò)流數(shù)據(jù)具有重要應(yīng)用和研究價值，現(xiàn)代路由器中都提供了網(wǎng)絡(luò)流測量功能，如Cisco路由器中提供了NetFlow功能，NetFlow在路由器中提供了網(wǎng)絡(luò)流測量功能，由于路由器難以提供足夠的資源測量所有通過其的所有網(wǎng)絡(luò)流，Cisco在NetFlow基礎(chǔ)上增加了抽樣功能，抽樣的NetFlow可以通過抽取部分網(wǎng)絡(luò)流量進行網(wǎng)絡(luò)流測量，但是在測量過程中NetFlow的測量抽樣概率需要用戶調(diào)整，另外無法適應(yīng)網(wǎng)絡(luò)流量的突變情況。Estan提出了具有自適應(yīng)抽樣能力的NetFlow，該NetFlow算法能夠適應(yīng)網(wǎng)絡(luò)流量的突變情況，但最終不能充分發(fā)揮路由器的測量資源，測量精度較低，在網(wǎng)絡(luò)流重抽樣過程中也消耗較多的CPU資源，因此設(shè)計更有效、更精確的自適應(yīng)抽樣算法就更為重要。

目前為了解決抽樣參數(shù)設(shè)置過大問題，一般采取兩種方法：(1)抽樣參數(shù)在測量開始的時候設(shè)置，整個測量過程中采用相同的抽樣參數(shù)，測量空間的滿了，就將所有的流量輸出，如Sampled?Netflow中采用的方法；(2)采用自適應(yīng)測量方法，當(dāng)測量時間沒有結(jié)束的時候，而測量空間滿了，就采用自適應(yīng)的方法調(diào)整抽樣參數(shù)，并調(diào)整流量緩存中的記錄信息，移除不符合新的抽樣參數(shù)條件下的流量記錄，騰出空間繼續(xù)測量剩余時間區(qū)間中的流量信息，如Estan的自適應(yīng)抽樣方法。第一種方法由于在整個測量過程中不能調(diào)整測量參數(shù)，無法適應(yīng)于網(wǎng)絡(luò)流量的不穩(wěn)定性和突發(fā)性。第二種方法雖然能夠調(diào)整抽樣參數(shù)，但是在自適應(yīng)過程中需要浪費測量資源調(diào)整網(wǎng)絡(luò)流緩存中的流量信息，并且調(diào)整空間是以犧牲已經(jīng)測量的流量信息為代價。

綜合這兩種方法，第一種方法本質(zhì)是固定網(wǎng)絡(luò)流存儲空間和時間區(qū)間，一旦網(wǎng)絡(luò)流空間滿了或者測量時間區(qū)間到達，可以將當(dāng)前時間區(qū)間結(jié)束，然后進行下一個時間區(qū)間的測量；但是在新的時間區(qū)間中，這種方法不調(diào)整測量參數(shù)，使得測量參數(shù)不能適應(yīng)網(wǎng)絡(luò)流量和測量資源的協(xié)同需求。第二種方法是固定時間區(qū)間，如果測量時間區(qū)間沒有結(jié)束，而網(wǎng)絡(luò)流存儲空間滿了，則調(diào)整網(wǎng)絡(luò)流存儲空間和測量參數(shù)，繼續(xù)進行測量，直到測量時間結(jié)束。

發(fā)明內(nèi)容

本發(fā)明提出一種基于固定存儲空間的網(wǎng)絡(luò)流實時自適應(yīng)測量方法，該方法設(shè)定一個期望測量區(qū)間持續(xù)時間、網(wǎng)絡(luò)流存儲空間和抽樣測量參數(shù)，期望測量區(qū)間持續(xù)時間用于作為抽樣測量參數(shù)調(diào)整的指標(biāo)，網(wǎng)絡(luò)流存儲空間大小作為當(dāng)前測量區(qū)間結(jié)束的依據(jù)，抽樣測量參數(shù)是控制測量資源和網(wǎng)絡(luò)流量之間的關(guān)系；在測量過程中設(shè)定一個固定網(wǎng)絡(luò)流存儲空間大小閥值作為一個測量循環(huán)結(jié)束的依據(jù)，如果存儲空間網(wǎng)絡(luò)流流數(shù)超過閥值，則當(dāng)前測量區(qū)間結(jié)束，輸出所有的流量記錄信息估計值；根據(jù)當(dāng)前測量區(qū)間的時間間隔、期望測量區(qū)間持續(xù)時間和當(dāng)前的抽樣測量參數(shù)計算下一個測量區(qū)間內(nèi)的抽樣測量參數(shù)。將出現(xiàn)的期望測量區(qū)間持續(xù)時間用于控制測量資源，如果當(dāng)前測量區(qū)間持續(xù)時間小于期望測量區(qū)間持續(xù)時間，而網(wǎng)絡(luò)流存儲空間已經(jīng)滿了，需要將網(wǎng)絡(luò)流存儲空間的流量記錄信息輸出，則說明測量系統(tǒng)需要消耗更多測量資源用于網(wǎng)絡(luò)流量信息的處理和存儲，因而測量抽樣參數(shù)設(shè)置過大，加大了測量系統(tǒng)的負擔(dān)；而如果當(dāng)前測量區(qū)間持續(xù)時間超過期望測量區(qū)間持續(xù)時間，而網(wǎng)絡(luò)流存儲空間沒有滿，說明測量抽樣參數(shù)設(shè)置過小，浪費了測量資源，降低了測量網(wǎng)絡(luò)流量的精度。

本發(fā)明的具體技術(shù)步驟如下：

第1步：設(shè)置參數(shù)