[發(fā)明專利]一種適用于海量數(shù)據(jù)的高速網(wǎng)絡(luò)流量異常檢測(cè)系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110402669.3
• 申請(qǐng)日: 2021-04-14
• 公開（公告）號(hào): CN113079176B
• 公開（公告）日: 2022-04-05
• 發(fā)明（設(shè)計(jì)）人: 王平輝;賈鵬;孫飛揚(yáng);李潤(rùn)東;蘭林;管曉宏;陶敬;韓婷
• 申請(qǐng)（專利權(quán)）人: 西安交通大學(xué)
• 主分類號(hào): H04L9/40
• 分類號(hào): H04L9/40;G06F16/901;G06F16/9035
• 代理公司: 西安智大知識(shí)產(chǎn)權(quán)代理事務(wù)所 61215
• 代理人: 段俊濤

1.一種適用于海量數(shù)據(jù)的高速網(wǎng)絡(luò)流量異常檢測(cè)系統(tǒng)，其特征在于，包括數(shù)據(jù)包特征提取子系統(tǒng)、網(wǎng)絡(luò)流量壓縮存儲(chǔ)子系統(tǒng)和網(wǎng)絡(luò)流量異常檢測(cè)子系統(tǒng)，其中：

數(shù)據(jù)包特征提取子系統(tǒng)，捕獲高速網(wǎng)絡(luò)流量，根據(jù)網(wǎng)絡(luò)流量異常檢測(cè)粒度，初步提取數(shù)據(jù)包五元組中全部或局部信息，作為網(wǎng)絡(luò)用戶的唯一標(biāo)識(shí)；

網(wǎng)絡(luò)流量壓縮存儲(chǔ)子系統(tǒng)，根據(jù)高速網(wǎng)絡(luò)流量中每個(gè)網(wǎng)絡(luò)用戶頻度的差異，頻度小于設(shè)定值的網(wǎng)絡(luò)用戶為低頻網(wǎng)絡(luò)用戶，高于設(shè)定值的網(wǎng)絡(luò)用戶為高頻網(wǎng)絡(luò)用戶，利用LogLog數(shù)據(jù)結(jié)構(gòu)對(duì)低頻網(wǎng)絡(luò)用戶進(jìn)行過濾存儲(chǔ)，并結(jié)合不同的網(wǎng)絡(luò)流量異常檢測(cè)任務(wù)，采用不同的數(shù)據(jù)結(jié)構(gòu)存儲(chǔ)高頻網(wǎng)絡(luò)用戶；

所述網(wǎng)絡(luò)流量異常檢測(cè)任務(wù)包括用戶頻度估計(jì)、網(wǎng)絡(luò)重?fù)袅鳈z測(cè)和網(wǎng)絡(luò)巨變流檢測(cè)，所述網(wǎng)絡(luò)流量異常檢測(cè)子系統(tǒng)包括用戶頻度分析子系統(tǒng)、網(wǎng)絡(luò)重?fù)袅鳈z測(cè)子系統(tǒng)和網(wǎng)絡(luò)巨變流檢測(cè)子系統(tǒng)；

所述用戶頻度分析子系統(tǒng)，在利用LogLog數(shù)據(jù)結(jié)構(gòu)過濾低頻網(wǎng)絡(luò)用戶之后，高頻網(wǎng)絡(luò)用戶存儲(chǔ)在CM-CU數(shù)據(jù)結(jié)構(gòu)中，結(jié)合兩種數(shù)據(jù)結(jié)構(gòu)得到高速網(wǎng)絡(luò)流量中每個(gè)網(wǎng)絡(luò)用戶的頻度；

所述網(wǎng)絡(luò)重?fù)袅鳈z測(cè)子系統(tǒng)，在利用LogLog數(shù)據(jù)結(jié)構(gòu)過濾低頻網(wǎng)絡(luò)用戶之后，利用Unbiased Space Saving數(shù)據(jù)結(jié)構(gòu)對(duì)高頻網(wǎng)絡(luò)用戶進(jìn)行進(jìn)一步篩選，得到Top-k網(wǎng)絡(luò)重?fù)袅鳎?/p>

所述網(wǎng)絡(luò)巨變流子系統(tǒng)，在利用LogLog數(shù)據(jù)結(jié)構(gòu)過濾低頻網(wǎng)絡(luò)用戶之后，利用FlowRadar數(shù)據(jù)結(jié)構(gòu)逆向恢復(fù)得到大于給定閾值的網(wǎng)絡(luò)巨變流；

其中，所述網(wǎng)絡(luò)流量壓縮存儲(chǔ)子系統(tǒng)對(duì)每個(gè)網(wǎng)絡(luò)用戶的壓縮存儲(chǔ)過程如下：

對(duì)于每個(gè)時(shí)刻到達(dá)的網(wǎng)絡(luò)用戶e，首先計(jì)算該網(wǎng)絡(luò)用戶對(duì)應(yīng)的r個(gè)哈希值h₁(e),...,h_r(e)，并以該r個(gè)哈希值作為索引在LogLog數(shù)據(jù)結(jié)構(gòu)中查詢得到對(duì)應(yīng)的數(shù)值F[h₁(e)],...,F[h_r(e)]，基于查詢得到的數(shù)值計(jì)算最小值將該最小值與LogLog數(shù)據(jù)結(jié)構(gòu)的閾值δ進(jìn)行比較，判斷是否要將該網(wǎng)絡(luò)用戶壓縮存儲(chǔ)到LogLog數(shù)據(jù)結(jié)構(gòu)中；

若γ＜δ，則代表該網(wǎng)絡(luò)用戶的頻度尚未達(dá)到LogLog數(shù)據(jù)結(jié)構(gòu)的過濾標(biāo)準(zhǔn)，該網(wǎng)絡(luò)用戶暫時(shí)為低頻網(wǎng)絡(luò)用戶，將該網(wǎng)絡(luò)用戶壓縮到LogLog數(shù)據(jù)結(jié)構(gòu)中，更新過程為：對(duì)于每個(gè)網(wǎng)絡(luò)用戶產(chǎn)生r個(gè)隨機(jī)數(shù)，每個(gè)隨機(jī)數(shù)服從參數(shù)為的幾何分布，并隨機(jī)映射到一維數(shù)組中的r個(gè)位置中，將產(chǎn)生的r個(gè)隨機(jī)數(shù)與LogLog數(shù)據(jù)結(jié)構(gòu)對(duì)應(yīng)位置的數(shù)值進(jìn)行比較，每次比較保留該位置的最大值，更新過程如下：

F[h_i(e)]←max{min{ρ(x_i),δ},F[h_i(e)]},1≤i≤r

ρ(x_i)表示產(chǎn)生的第i個(gè)隨機(jī)數(shù)；

若γ≥δ，則代表該網(wǎng)絡(luò)用戶的頻度已達(dá)到LogLog數(shù)據(jù)結(jié)構(gòu)的過濾標(biāo)準(zhǔn)，該網(wǎng)絡(luò)用戶已成為高頻網(wǎng)絡(luò)用戶，不再將該網(wǎng)絡(luò)用戶壓縮到LogLog數(shù)據(jù)結(jié)構(gòu)中。

2.根據(jù)權(quán)利要求1所述適用于海量數(shù)據(jù)的高速網(wǎng)絡(luò)流量異常檢測(cè)系統(tǒng)，其特征在于，所述數(shù)據(jù)包特征提取子系統(tǒng)對(duì)網(wǎng)絡(luò)流量中每一時(shí)刻到達(dá)的網(wǎng)絡(luò)數(shù)據(jù)包進(jìn)行處理，以五元組全部信息的組合或五元組中局部信息的組合作為網(wǎng)絡(luò)用戶的唯一標(biāo)識(shí)，所述五元組信息為源端口、目標(biāo)端口、源IP地址、目標(biāo)IP地址和網(wǎng)絡(luò)協(xié)議。

3.根據(jù)權(quán)利要求1所述適用于海量數(shù)據(jù)的高速網(wǎng)絡(luò)流量異常檢測(cè)系統(tǒng)，其特征在于，所述LogLog數(shù)據(jù)結(jié)構(gòu)為長(zhǎng)度m的一維數(shù)組F，數(shù)組中的每個(gè)位置記錄映射到該位置的所有網(wǎng)絡(luò)用戶的最大哈希值。

4.根據(jù)權(quán)利要求1或3所述適用于海量數(shù)據(jù)的高速網(wǎng)絡(luò)流量異常檢測(cè)系統(tǒng)，其特征在于，所述LogLog數(shù)據(jù)結(jié)構(gòu)的每個(gè)位置利用相同數(shù)量的比特位設(shè)定閾值，用于過濾分割網(wǎng)絡(luò)流量中頻度不同的網(wǎng)絡(luò)用戶，高頻網(wǎng)絡(luò)用戶可通過該數(shù)據(jù)結(jié)構(gòu)的篩選，而低頻網(wǎng)絡(luò)用戶會(huì)被該數(shù)據(jù)結(jié)構(gòu)過濾掉并存儲(chǔ)在該數(shù)據(jù)結(jié)構(gòu)中。

5.根據(jù)權(quán)利要求1所述適用于海量數(shù)據(jù)的高速網(wǎng)絡(luò)流量異常檢測(cè)系統(tǒng)，其特征在于，所述用戶頻度分析子系統(tǒng)利用LogLog數(shù)據(jù)結(jié)構(gòu)中的信息估計(jì)低頻網(wǎng)絡(luò)用戶的頻度，并利用LogLog數(shù)據(jù)結(jié)構(gòu)中的信息以及CM-CU數(shù)據(jù)結(jié)構(gòu)中的用戶頻度綜合估計(jì)高頻網(wǎng)絡(luò)用戶的頻度。