[發(fā)明專(zhuān)利]一種網(wǎng)絡(luò)流特征的提取與存儲(chǔ)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201810079545.4
• 申請(qǐng)日: 2018-01-26
• 公開(kāi)（公告）號(hào): CN108287905B
• 公開(kāi)（公告）日: 2020-04-21
• 發(fā)明（設(shè)計(jì)）人: 高英;李若鵬;靳亞洽;劉煜
• 申請(qǐng)（專(zhuān)利權(quán)）人: 華南理工大學(xué)
• 主分類(lèi)號(hào): G06F16/2455
• 分類(lèi)號(hào): G06F16/2455;H04L29/06
• 代理公司: 重慶中之信知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 50213
• 代理人: 蒲艷紫

1.一種網(wǎng)絡(luò)流特征的提取與存儲(chǔ)方法,其特征在于，包括以下步驟：

S1：使用gopacket數(shù)據(jù)包工具驅(qū)動(dòng)libpcap函數(shù)包，按網(wǎng)絡(luò)的不同的層次的特性對(duì)網(wǎng)絡(luò)數(shù)據(jù)進(jìn)行網(wǎng)絡(luò)數(shù)據(jù)包提取，得到特征原文數(shù)據(jù),并且進(jìn)行落盤(pán)處理，生成本地?cái)?shù)據(jù)包文件并存儲(chǔ)；

S2：使用avro二進(jìn)制序列化的方式將特征原文數(shù)據(jù)序列化成特征二進(jìn)制數(shù)據(jù)；

S3：將特征二進(jìn)制數(shù)據(jù)寫(xiě)入到分布式消息隊(duì)列構(gòu)成的數(shù)據(jù)管道中，進(jìn)行數(shù)據(jù)的緩存存儲(chǔ)；

S4：提取緩存數(shù)據(jù)進(jìn)行反序列化處理得到特征數(shù)據(jù)，運(yùn)用基于Flink流式處理引擎的窗口運(yùn)算獲取所述特征數(shù)據(jù)的統(tǒng)計(jì)特征數(shù)據(jù)，具體實(shí)現(xiàn)步驟為：

S4-1：建立時(shí)間窗口并設(shè)定時(shí)間閾值；

S4-2：對(duì)進(jìn)入時(shí)間窗口的特征數(shù)據(jù)中的每一條數(shù)據(jù)時(shí)數(shù)據(jù)進(jìn)行信息計(jì)算；

S4-3：到達(dá)時(shí)間窗口的時(shí)間閾值時(shí)，調(diào)用窗口計(jì)算，得出時(shí)間統(tǒng)計(jì)特征數(shù)據(jù)；

S4-4：建立數(shù)量窗口并設(shè)定數(shù)量時(shí)間閾值；

S4-5：對(duì)進(jìn)入窗口的特征數(shù)據(jù)中的每一條數(shù)據(jù)時(shí)數(shù)據(jù)進(jìn)行信息計(jì)算；

S4-6：到達(dá)時(shí)間數(shù)量時(shí)間閾值時(shí)，調(diào)用窗口計(jì)算，得出數(shù)量統(tǒng)計(jì)特征數(shù)據(jù)；

S5：將所述特征數(shù)據(jù)和統(tǒng)計(jì)特征數(shù)據(jù)拼接成網(wǎng)絡(luò)流特征，用列式稀疏存儲(chǔ)的方式將網(wǎng)絡(luò)流存儲(chǔ)在分布式數(shù)據(jù)庫(kù)Hbase中。

2.如權(quán)利要求1所述的一種網(wǎng)絡(luò)流特征的提取與存儲(chǔ)方法，其特征在于，特征原文數(shù)據(jù)的類(lèi)型包括特征包括Ethernet、IP、ICMP、TCP和UDP五種協(xié)議的報(bào)文頭部數(shù)值特征。

3.如權(quán)利要求1所述的一種網(wǎng)絡(luò)流特征的提取與存儲(chǔ)方法，其特征在于，步驟S1中特征原文數(shù)據(jù)提取的具體步驟為：

S1-1：將原始的網(wǎng)絡(luò)數(shù)據(jù)包鏡像匯聚，得到鏡像網(wǎng)絡(luò)流；

S1-2：捕獲網(wǎng)絡(luò)數(shù)據(jù)包：運(yùn)用libpcap函數(shù)包處理鏡像網(wǎng)絡(luò)流捕獲網(wǎng)絡(luò)數(shù)據(jù)包；

S1-3：運(yùn)用gopacket工具讀取網(wǎng)絡(luò)數(shù)據(jù)包，按照網(wǎng)絡(luò)的不同的層次的特性，提取各個(gè)協(xié)議的報(bào)文頭部特征，既得到特征原文數(shù)據(jù)，并打包成多個(gè)本地的pcap包，既網(wǎng)絡(luò)數(shù)據(jù)包本地文件。

4.如權(quán)利要求3所述的一種網(wǎng)絡(luò)流特征的提取與存儲(chǔ)方法，其特征在于，所述步驟S1-1中：原始的網(wǎng)絡(luò)數(shù)據(jù)包鏡像匯聚的處理過(guò)程為：得到鏡像數(shù)據(jù)是通過(guò)網(wǎng)絡(luò)設(shè)備的SPAN模塊，將其他端口的網(wǎng)絡(luò)流鏡像到指定的的端口，獲取整個(gè)網(wǎng)絡(luò)的鏡像網(wǎng)絡(luò)流。