[發明專利]一種基于共享計數樹的存儲空間優化采樣方法

有效

• 申請號: 202010438372.8
• 申請日: 2020-05-22
• 公開（公告）號: CN111581489B
• 公開（公告）日: 2023-03-24
• 發明（設計）人: 楊武;玄世昌;王巍;苘大鵬;呂繼光;唐德志
• 申請（專利權）人: 哈爾濱工程大學
• 主分類號: G06F16/953
• 分類號: G06F16/953;G06F16/13;G06F16/172;G06F18/2411;G06F18/2431;H04L47/2483
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于共享計數樹的存儲空間優化采樣方法，其特征在于，包括以下步驟：

步驟1：根據預先配置的有限采樣比p_e、源IP采樣概率p_h以及目標流采樣概率確定輸出包采樣概率p_p和當前流采樣概率p_f；

步驟1.1：輸入預先配置的有限采樣比p_e、源IP采樣概率p_h以及目標流采樣概率

步驟1.2：初始化包采樣概率p_p和當前流采樣概率p_f；

p_p＝p_e/p_h

p_f＝p_e/p_h

步驟1.3：令

步驟1.4：獲取當前采樣比p_x；

步驟1.5：若則輸出包采樣概率p_p和當前流采樣概率p_f，結束計算；否則，執行步驟1.6；其中α為設置的精度；

步驟1.6：若|p_x-p_e|≤α，則返回步驟1.3；否則執行步驟1.7；

步驟1.7：若當前采樣比p_x大于預先配置的有限采樣比p_e，則令p_p＝0.5*(p_p+t)，t＝0.00001，返回步驟1.6；否則，令p_p＝0.5*(p_p+1)，返回步驟1.6；

步驟2：從數據包緩沖隊列提取數據包，并為該數據包分配兩個取值范圍在[0，1)的隨機數r_f和r_p；

步驟3：獲取數據包的源IP并計算該源IP的哈希值；

步驟4：將源IP的哈希值與源IP選擇概率p_h相乘得到目標值；

步驟5：若目標值落在預先配置好的范圍內，則執行步驟6；否則拋棄該數據包；

步驟6：搜索數據包所屬流節點；

若沒有查找到該數據包對應的流節點且r_f≤p_f，則對該數據包進行采樣并為該數據包創建一個流節點，新建流特征存儲單元，并更新該流的流特征存儲單元；

若查找到該數據包所屬流節點且r_p≤p_p，則對該數據包進行采樣并更新該流的流特征存儲單元；

若沒有查找到該數據包對應的流節點且r_f＞p_f，或查找到該數據包所屬流節點且r_p＞p_p時拋棄該數據包；

步驟7：當對某條流的采樣結束后，將存儲在流節點中的流特征以及存儲在共享計數樹中的流統計特征還原為完整的流記錄，并將流記錄加入到流記錄緩沖隊列中；待緩沖區已滿，將采樣流特征記錄寫入到文件中。

2.根據權利要求1所述的一種基于共享計數樹的存儲空間優化采樣方法，其特征在于：所述的步驟6中為數據包新建流特征存儲單元的具體方法為：對數據包進行解析，將五元組信息、流到達時間、流最近更新時間、最小有效負載長度以及最大有效負載長度寫入流節點中；其中，流最近更新時間與流到達時間均為當前時間；最小有效負載長度和最大有效負載長度均為該數據包的應用層有效負載長度；若該數據包為TCP數據包，對TCP首部進行解析，檢測標志位ACK、FIN、SYN、RST是否在其中被置位；若TCP數據包被置位，則在對應的共享計數樹中對該流到來的標志位數據包個數進行計數；在存儲流大小的共享計數樹中對該流進行計數；計算該數據包的長度len，以32B為一個數據塊，得出該數據包所占的數據塊數c，在存儲流長度的共享計數樹中對該流進行c次計數；若數據包不是TCP數據包或者TCP數據包沒被置位，則不需在共享計數樹中對該數據包所屬流的ACK包個數，SYN包個數，FIN包個數和RST包個數特征進行計數。