[發(fā)明專利]分布式網(wǎng)絡(luò)流量新奇檢測方法及分類器

有效

• 申請(qǐng)?zhí)枺?/td>: 202011435142.2
• 申請(qǐng)日: 2020-12-10
• 公開（公告）號(hào): CN112637084B
• 公開（公告）日: 2022-09-23
• 發(fā)明（設(shè)計(jì)）人: 金志平;王宇;梁志標(biāo)
• 申請(qǐng)（專利權(quán)）人: 中山職業(yè)技術(shù)學(xué)院
• 主分類號(hào): H04L47/2441
• 分類號(hào): H04L47/2441;H04L47/2483;H04L43/0876;G06K9/62
• 代理公司: 廣州三環(huán)專利商標(biāo)代理有限公司 44202
• 代理人: 溫旭

本發(fā)明提供了分布式網(wǎng)絡(luò)流量新奇檢測方法及分類器，包括分類訓(xùn)練方法，包括：獲取N多個(gè)節(jié)點(diǎn)采集的未知類數(shù)據(jù)樣本，并進(jìn)行數(shù)據(jù)共享；將各節(jié)點(diǎn)的未知類數(shù)據(jù)樣本合并，并構(gòu)建分類器，使用該分類器對(duì)實(shí)時(shí)流量進(jìn)行流量類型識(shí)別。本發(fā)明針對(duì)未知網(wǎng)絡(luò)流量對(duì)基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量識(shí)別技術(shù)的影響，結(jié)合有監(jiān)督和無監(jiān)督的機(jī)器學(xué)習(xí)機(jī)制，采用基于未知流數(shù)據(jù)共享機(jī)制的分布式框架，訓(xùn)練可以有效識(shí)別原有已知應(yīng)用類別以及新型應(yīng)用所產(chǎn)生的未知類別的網(wǎng)絡(luò)流量分類器，與集中式方案相比，可以有效提高對(duì)未知類的感知、檢測效率和性能，同時(shí)分布式未知類信息共享機(jī)制有效降低對(duì)未知類發(fā)現(xiàn)時(shí)間延遲，有利于及時(shí)發(fā)現(xiàn)整個(gè)網(wǎng)絡(luò)中涌現(xiàn)新型應(yīng)用和未知流量。

技術(shù)領(lǐng)域

本發(fā)明涉及式網(wǎng)絡(luò)流量檢測方法，特別是涉及分布式網(wǎng)絡(luò)流量新奇檢測方法及分類器。

背景技術(shù)

隨著互聯(lián)網(wǎng)和移動(dòng)互聯(lián)網(wǎng)技術(shù)的發(fā)展，各廠商開發(fā)了各式各樣的應(yīng)用，使得網(wǎng)絡(luò)應(yīng)用類型的數(shù)量爆炸性地增長，為網(wǎng)絡(luò)安全和管理帶來了嚴(yán)峻挑戰(zhàn)。為了在網(wǎng)絡(luò)端識(shí)別網(wǎng)絡(luò)流量所對(duì)應(yīng)的應(yīng)用類型，傳統(tǒng)廠商主要采用基于“端口號(hào)”的識(shí)別技術(shù)和基于“深度包檢測”的識(shí)別技術(shù)。由于越來越多的應(yīng)用采用動(dòng)態(tài)端口號(hào)協(xié)商技術(shù)，基于“端口號(hào)”的識(shí)別技術(shù)變得不再可靠。與此同時(shí)，雖然基于“深度包檢測”的識(shí)別技術(shù)準(zhǔn)確率較高，但是其計(jì)算復(fù)雜度極高，同時(shí)無法處理識(shí)別加密流量。因此，近年來學(xué)術(shù)界和產(chǎn)業(yè)界提出了基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量識(shí)別技術(shù)，這類方法提取網(wǎng)絡(luò)流量的可觀測屬性作為特征向量，利用有標(biāo)記的訓(xùn)練集和有監(jiān)督機(jī)器學(xué)習(xí)算法訓(xùn)練分類模型，用于實(shí)時(shí)的流量識(shí)別。實(shí)踐表明基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量識(shí)別技術(shù)具有較高的準(zhǔn)確率和較低的計(jì)算復(fù)雜度，適用于大規(guī)模實(shí)時(shí)網(wǎng)絡(luò)流量分類。

基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量識(shí)別技術(shù)的準(zhǔn)確率依賴于訓(xùn)練數(shù)據(jù)集的質(zhì)量。有監(jiān)督機(jī)器學(xué)習(xí)算法假設(shè)訓(xùn)練數(shù)據(jù)集是完整的、具有代表性的。但是，在真實(shí)世界里，網(wǎng)絡(luò)中不斷地出現(xiàn)新型的網(wǎng)絡(luò)應(yīng)用，產(chǎn)生新的流量特征模式，而原有的訓(xùn)練數(shù)據(jù)集中并沒有這些新型應(yīng)用的樣本。對(duì)于流量分類器來說，這些新型應(yīng)用的流量是“未知的”，其會(huì)被分類器錯(cuò)誤地識(shí)別為其他類型的應(yīng)用。因此，如何及時(shí)有效地檢測新型網(wǎng)絡(luò)應(yīng)用所產(chǎn)生的未知流量，是基于機(jī)器學(xué)習(xí)的網(wǎng)絡(luò)流量識(shí)別技術(shù)必須解決的關(guān)鍵問題。

魯棒統(tǒng)計(jì)流量分類技術(shù)是一種針對(duì)未知流量影響的機(jī)器學(xué)習(xí)網(wǎng)絡(luò)流量識(shí)別方案。該方案包括三個(gè)關(guān)鍵模塊：未知流量發(fā)現(xiàn)，流量分類模塊和系統(tǒng)更新模塊。未知流量發(fā)現(xiàn)模塊有兩個(gè)步驟，先使用K均值算法對(duì)網(wǎng)絡(luò)流進(jìn)行聚類，然后應(yīng)用隨機(jī)森林算法對(duì)未知聚類簇進(jìn)行分類。流量分類模塊采用了基于“流袋”的流量分類框架，即引入流量相關(guān)信息，將具有相關(guān)信息的流視為一個(gè)類群(即一個(gè)“流袋”中所有流屬于有相同的網(wǎng)絡(luò)流量類別)，該方案在每個(gè)“流袋”中隨機(jī)選取一個(gè)流作為該類群的代表用于構(gòu)建訓(xùn)練集。系統(tǒng)更新模塊將新的未知應(yīng)用流量納入訓(xùn)練集對(duì)分類模型進(jìn)行更新。

基于最近簇的分類技術(shù)是另一個(gè)較為新穎的針對(duì)未知流量的識(shí)別方案。該方案主采用了流標(biāo)簽傳播方法和半監(jiān)督分類方法來發(fā)現(xiàn)未知網(wǎng)絡(luò)流量，且在模型訓(xùn)練時(shí)采用最近鄰算法。其中，流標(biāo)簽傳播方法是根據(jù)已標(biāo)記好的流來定義與其具有相似信息的未標(biāo)記的流；半監(jiān)督分類方法先用K均值算法對(duì)網(wǎng)絡(luò)流進(jìn)行聚類，然后將各個(gè)聚類簇根據(jù)已標(biāo)記的流做標(biāo)記，從而找出未知流聚類簇。

在上述的現(xiàn)有技術(shù)中，都是基于集中式的網(wǎng)絡(luò)流量識(shí)別架構(gòu)。這種集中式網(wǎng)絡(luò)流量分類和未知流量檢測方法的時(shí)間復(fù)雜度較高、可擴(kuò)展性較低，并且各個(gè)網(wǎng)絡(luò)節(jié)點(diǎn)之間的信息無法共享，無法及時(shí)發(fā)現(xiàn)整個(gè)網(wǎng)絡(luò)中涌現(xiàn)的新型應(yīng)用和未知流量。

發(fā)明內(nèi)容

本發(fā)明提供了分布式網(wǎng)絡(luò)流量新奇檢測方法及分類器，用于快速發(fā)現(xiàn)和提取未知流量的樣本用于更新流量分類器，從而保證流量分類器的魯棒性，提高網(wǎng)絡(luò)流量識(shí)別的準(zhǔn)確率。

本發(fā)明提供了分布式網(wǎng)絡(luò)流量新奇檢測方法，包括分類訓(xùn)練方法，所述分類訓(xùn)練方法包括

獲取N多個(gè)節(jié)點(diǎn)采集的未知類數(shù)據(jù)樣本，并進(jìn)行數(shù)據(jù)共享；

將各節(jié)點(diǎn)的未知類數(shù)據(jù)樣本合并，并構(gòu)建分類器，使用該分類器對(duì)實(shí)時(shí)流量進(jìn)行流量類型識(shí)別。