[發(fā)明專(zhuān)利]網(wǎng)絡(luò)流存儲(chǔ)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201210246855.3
• 申請(qǐng)日: 2012-07-16
• 公開(kāi)（公告）號(hào): CN103546307A
• 公開(kāi)（公告）日: 2014-01-29
• 發(fā)明（設(shè)計(jì)）人: 薛一波;王大偉
• 申請(qǐng)（專(zhuān)利權(quán)）人: 清華大學(xué)
• 主分類(lèi)號(hào): H04L12/24
• 分類(lèi)號(hào): H04L12/24;H04L12/26
• 代理公司: 北京路浩知識(shí)產(chǎn)權(quán)代理有限公司 11002
• 代理人: 王瑩

技術(shù)領(lǐng)域

本發(fā)明屬于網(wǎng)絡(luò)技術(shù)中流量分類(lèi)技術(shù)領(lǐng)域，尤其涉及一種新的網(wǎng)絡(luò)流存儲(chǔ)方法。

背景技術(shù)

由于網(wǎng)絡(luò)技術(shù)和網(wǎng)絡(luò)帶寬的發(fā)展迅速，網(wǎng)絡(luò)中的數(shù)據(jù)流量也成倍增加，在高速骨干網(wǎng)絡(luò)上，數(shù)據(jù)流量已經(jīng)達(dá)到每秒鐘Gbit、甚至10Gbit以上。不斷增大的網(wǎng)絡(luò)流量對(duì)流量分類(lèi)提出了新的挑戰(zhàn)：傳統(tǒng)的基于數(shù)據(jù)包的流量分類(lèi)系統(tǒng)的效率已難以滿(mǎn)足高速骨干網(wǎng)監(jiān)測(cè)的需要。在高速寬帶網(wǎng)絡(luò)環(huán)境下，網(wǎng)絡(luò)數(shù)據(jù)高速無(wú)窮到達(dá)，且不間斷，呈現(xiàn)海量數(shù)據(jù)特點(diǎn)，并且本地?zé)o法進(jìn)行存儲(chǔ)。因此，依靠數(shù)據(jù)包捕獲-數(shù)據(jù)包還原-模式匹配的傳統(tǒng)的流量分類(lèi)系統(tǒng)效率無(wú)法滿(mǎn)足需要。此外，隨著網(wǎng)絡(luò)環(huán)境的日益復(fù)雜，越來(lái)越多的應(yīng)用層協(xié)議采用加密協(xié)議加密數(shù)據(jù)包載荷。在這種情況下，尋找數(shù)據(jù)包載荷關(guān)鍵的難度越來(lái)越大，最終導(dǎo)致基于數(shù)據(jù)包的流量分類(lèi)技術(shù)嚴(yán)重失效。

不同于基于數(shù)據(jù)包的流量分類(lèi)技術(shù)，基于網(wǎng)絡(luò)流的流量分類(lèi)技術(shù)著眼于網(wǎng)絡(luò)流。傳統(tǒng)上把網(wǎng)絡(luò)流定義為具有相同五元組（<源地址，目的地址，源端口，目的端口，協(xié)議>）的數(shù)據(jù)包的集合。作為一種數(shù)據(jù)交換方式，網(wǎng)絡(luò)流從一個(gè)微觀層面上反映了主機(jī)行為和主機(jī)之間相互通信的細(xì)節(jié)。

基于網(wǎng)絡(luò)流的流量分類(lèi)技術(shù)的假設(shè)前提是不同協(xié)議會(huì)有其特有的網(wǎng)絡(luò)流統(tǒng)計(jì)特性，并以此來(lái)分類(lèi)不同協(xié)議產(chǎn)生的流量。由于該技術(shù)引入了大量的統(tǒng)計(jì)信息作為基本參考因素，所以它不可避免地將機(jī)器學(xué)習(xí)的方法結(jié)合到了識(shí)別中，期望取得更好的流量分類(lèi)性能。機(jī)器學(xué)習(xí)方法于2004年被引入到流量分類(lèi)技術(shù)中，根據(jù)流量具有的統(tǒng)計(jì)特性對(duì)流量進(jìn)行分類(lèi)。例如，網(wǎng)絡(luò)流持續(xù)時(shí)間的分布特性，流空閑時(shí)間，包間隔時(shí)間，包長(zhǎng)度等信息，對(duì)于流量分類(lèi)來(lái)說(shuō)，是特有的信息。它們都可以作為判別式的特征被機(jī)器學(xué)習(xí)模型利用進(jìn)行流量分類(lèi)。

為了提取網(wǎng)絡(luò)流統(tǒng)計(jì)特征，需要建立一個(gè)提取和存儲(chǔ)網(wǎng)絡(luò)流的數(shù)據(jù)結(jié)構(gòu)，并按照網(wǎng)絡(luò)流的規(guī)范，從背景流量中提取并存儲(chǔ)網(wǎng)絡(luò)流信息。目前，幾乎所有的基于網(wǎng)絡(luò)流的流量分類(lèi)系統(tǒng)都使用流表來(lái)提取和存儲(chǔ)網(wǎng)絡(luò)流。流表采用了一種Hash表加鏈表的結(jié)構(gòu)在確定背景流量中每一個(gè)數(shù)據(jù)包所屬的網(wǎng)絡(luò)流，并對(duì)其進(jìn)行存儲(chǔ)。當(dāng)一個(gè)數(shù)據(jù)包被捕獲后，流量分類(lèi)系統(tǒng)會(huì)利用該數(shù)據(jù)包的五元組計(jì)算一個(gè)Hash值，并利用該Hash值尋找Hash表中是否存在該數(shù)據(jù)包對(duì)應(yīng)網(wǎng)絡(luò)流的信息。如果不存在，則以該數(shù)據(jù)包為所屬網(wǎng)絡(luò)流的第一個(gè)到達(dá)數(shù)據(jù)包，為其建立一條網(wǎng)絡(luò)流記錄。利用Hash表存儲(chǔ)網(wǎng)絡(luò)流，沖突不可避免。因此，當(dāng)沖突發(fā)生時(shí)，系統(tǒng)會(huì)為沖突的網(wǎng)絡(luò)流建立一個(gè)鏈表掛載在Hash表的對(duì)應(yīng)項(xiàng)。利用這種流表，基于網(wǎng)絡(luò)流的流量分類(lèi)系統(tǒng)能夠準(zhǔn)確地對(duì)應(yīng)每個(gè)數(shù)據(jù)包所屬的網(wǎng)絡(luò)流，并且高效地提取單個(gè)網(wǎng)絡(luò)流的統(tǒng)計(jì)特征。

隨著網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，新型應(yīng)用層協(xié)議層出不窮。為了提高網(wǎng)絡(luò)利用率，并且對(duì)抗流量分類(lèi)系統(tǒng)，許多新興應(yīng)用層協(xié)議會(huì)同時(shí)啟用多個(gè)網(wǎng)絡(luò)流完成一個(gè)通信任務(wù)。其中，每個(gè)網(wǎng)絡(luò)流僅負(fù)責(zé)任務(wù)的一部分。P2P協(xié)議是該新興應(yīng)用層協(xié)議的一個(gè)典型例子。為了更好、更快地實(shí)現(xiàn)文件共享，許多P2P協(xié)議會(huì)將一個(gè)文件分割成多個(gè)塊，并且利用多個(gè)網(wǎng)絡(luò)流同時(shí)分享該文件；另一個(gè)典型的例子是交互式協(xié)議，該協(xié)議在運(yùn)行過(guò)程中需要和服務(wù)器進(jìn)行交互。為了提高效率，多數(shù)交互式協(xié)議都會(huì)將不同的交互內(nèi)容存放至不同的服務(wù)器，而客戶(hù)端則會(huì)同時(shí)利用多個(gè)網(wǎng)絡(luò)流實(shí)現(xiàn)信息的快速交互。這種新型的應(yīng)用層協(xié)議對(duì)基于網(wǎng)絡(luò)流的流量分類(lèi)系統(tǒng)提出了新的挑戰(zhàn)：首先，該協(xié)議同時(shí)使用多個(gè)網(wǎng)絡(luò)流完成同一個(gè)通信任務(wù)，使得從單一網(wǎng)絡(luò)流中提取并利用的知識(shí)減少，影響了分類(lèi)系統(tǒng)的識(shí)別性能；其次，目前的基于網(wǎng)絡(luò)流的流量分類(lèi)系統(tǒng)著眼于單一網(wǎng)絡(luò)流，很難將該協(xié)議所產(chǎn)生的所有網(wǎng)絡(luò)流進(jìn)行分類(lèi)。

為了解決上述問(wèn)題，應(yīng)對(duì)新型應(yīng)用層協(xié)議帶來(lái)的挑戰(zhàn)，越來(lái)越多的基于網(wǎng)絡(luò)流的流量分類(lèi)技術(shù)開(kāi)始利用多網(wǎng)絡(luò)流特征。這種新型的網(wǎng)絡(luò)流特征試圖從多網(wǎng)絡(luò)流角度出發(fā)，尋找多個(gè)網(wǎng)絡(luò)流之間的關(guān)系特征，以實(shí)現(xiàn)P2P、交互式協(xié)議流量的準(zhǔn)確、完備的分類(lèi)。然而，目前的流表結(jié)構(gòu)卻難以提取多網(wǎng)絡(luò)流關(guān)系特征：流表使用一種扁平的結(jié)構(gòu)存儲(chǔ)網(wǎng)絡(luò)流，網(wǎng)絡(luò)流均勻地分布在Hash表中。具有相同Hash值的網(wǎng)絡(luò)流可能并不存在任何關(guān)系，而屬于同一協(xié)議的網(wǎng)絡(luò)流的Hash值可能不同，因此我們很難判斷網(wǎng)絡(luò)流之間的關(guān)系。

從多網(wǎng)絡(luò)流角度出發(fā)，尋找多個(gè)網(wǎng)絡(luò)流之間的關(guān)系，提取多網(wǎng)絡(luò)流之間的關(guān)系特征，能夠幫助基于網(wǎng)絡(luò)流的流量分類(lèi)系統(tǒng)實(shí)現(xiàn)P2P、交互式協(xié)議等新型協(xié)議流量的準(zhǔn)確、完備分類(lèi)。然而，目前的流表結(jié)構(gòu)著眼于單一網(wǎng)絡(luò)流，使用一種扁平的結(jié)構(gòu)存儲(chǔ)網(wǎng)絡(luò)流，很難提取多個(gè)網(wǎng)絡(luò)流之間的關(guān)系特征。

發(fā)明內(nèi)容

（一）要解決的技術(shù)問(wèn)題