[發明專利]一種報文去重的方法、裝置、電子設備及存儲介質

有效

• 申請號: 202011046575.9
• 申請日: 2020-09-29
• 公開（公告）號: CN112152937B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 李霞;魏逢一
• 申請（專利權）人: 銳捷網絡股份有限公司
• 主分類號: H04L47/32
• 分類號: H04L47/32;G06F16/22;G06F16/215
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 杜晶

本公開涉及計算機網絡技術領域，尤其涉及一種報文去重的方法、裝置、電子設備及存儲介質，用于解決進行報文去重處理時內存開銷大，處理效率低的問題，方法為：確定處理后的各個待判定報文數據各自關聯的時間戳，再確定據所述時間戳下的環形示意區域中的有效區域，然后針對各個處理后的待判定報文數據，計算對應一個待判定報文數據的N個哈希值后，判定所述一個待判定報文數據為重復報文數據，由終止指針所對應的處理節點記錄后，丟棄所述一個待判定報文數據。這樣，只需要為處理節點的位向量配置固定的存儲空間，無需占用過多的內容，借助于對位向量的操作，即可判定是否接收到重復報文，極大提高了重復報文的處理效率。

技術領域

本公開涉及計算機網絡技術領域，尤其涉及一種報文去重的方法、裝置、電子設備及存儲介質。

背景技術

隨著網絡安全的重要性逐漸提高，目前出于性能、安全性或者常規網絡操作和管理的目的，提出了網絡流量可視化分析，用以記錄、檢查、分析和挖掘網絡流量或報文數據中的信息，并將分析結果以圖形化方式呈現出來。而進行網絡流量可視化分析的底層基礎是對網絡中實時傳輸的報文數據進行采集捕獲，通常會在全網設置多個報文采集點，這使得應用層內容完全相同的一個報文，在不同的報文采集點處被采集，報文采集平臺獲得了多個重復報文，為避免浪費資源處理重復報文，報文去重處理顯得至關重要。目前采用的報文去重方式需要占用過大的內存，極大影響了報文采集平臺的處理性能。

發明內容

本公開實施例提供一種報文去重的方法、裝置、電子設備及存儲介質，用以解決現有技術中存在報文去重處理時內存開銷大，處理效率低的問題。

本公開實施例提供的具體技術方案如下：

第一方面，提出一種報文去重的方法，包括：

獲取各個報文采集節點當前上報的報文數據，并根據重復報文的判定內容，將各個報文數據解封為各個待判定報文數據，以及將獲取報文數據的時間戳配置為其解封得到的待判定報文數據的時間戳；

確定所述時間戳對應的有效處理節點，其中，在各個處理節點映射為環形示意區域內的各個扇形區域后，將至少部分扇形區域存在于所述環形示意區域內的起始指針和終止指針之間的處理節點，作為有效處理節點，所述起始指針與所述終止指針在所述環形示意區域的指定方向上隨時間轉動，且夾角固定；

針對各個待判定報文數據，分別執行以下操作：

采用相互獨立的N個哈希函數對一個待判定報文數據進行處理，得到對應的N個哈希值，并在確定各個有效處理節點各自關聯的位向量中，存在與所述N個哈希值對應的N個位均被賦值的位向量時，判定所述一個待判定報文數據為重復報文數據，并將終止指針對應的目標處理節點關聯的位向量中，與所述N個哈希值對應的N個位進行賦值后，丟棄所述一個待判定報文數據。

可選的，所述根據重復報文的判定內容，將各個報文數據解封為各個待判定報文數據，包括：

確定重復報文的判定內容為應用層內容時，將解封至應用層的各個報文數據作為各個待判定報文數據；或者，

確定重復報文的判定內容為會話層及以上層級內容時，將解封至所述會話層的各個報文數據作為各個待判定報文數據；或者，

確定重復報文的判定內容為網絡層及以上層級內容時，將解封至所述網絡層的各個報文數據作為各個待判定報文數據；或者，

確定重復報文的判定內容為數據鏈路層及以上層級內容時，將解封至所述數據鏈路層的各個報文數據作為各個待判定報文數據。

可選的，所述采用相互獨立的N個哈希函數對一個待判定報文數據進行處理，得到對應的N個哈希值之后，進一步包括：

確定各個有效處理節點各自關聯的位向量中，不存在與所述N個哈希值對應的N個位均被賦值的位向量時，判定所述一個待判定報文數據為非重復報文數據；