[發明專利]一種報文去重的方法、裝置、電子設備及存儲介質

有效

• 申請號: 202011046575.9
• 申請日: 2020-09-29
• 公開（公告）號: CN112152937B
• 公開（公告）日: 2022-08-19
• 發明（設計）人: 李霞;魏逢一
• 申請（專利權）人: 銳捷網絡股份有限公司
• 主分類號: H04L47/32
• 分類號: H04L47/32;G06F16/22;G06F16/215
• 代理公司: 北京同達信恒知識產權代理有限公司 11291
• 代理人: 杜晶

1.一種報文去重的方法，其特征在于，包括：

獲取各個報文采集節點當前上報的報文數據，并根據重復報文的判定內容，將各個報文數據解封為各個待判定報文數據，以及將獲取報文數據的時間戳配置為其解封得到的待判定報文數據的時間戳；

確定所述時間戳對應的有效處理節點，其中，在各個處理節點映射為環形示意區域內的各個扇形區域后，將至少部分扇形區域存在于所述環形示意區域內的起始指針和終止指針之間的處理節點，作為有效處理節點，所述起始指針與所述終止指針在所述環形示意區域的指定方向上隨時間轉動，且夾角固定；

針對各個待判定報文數據，分別執行以下操作：

采用相互獨立的N個哈希函數對一個待判定報文數據進行處理，得到對應的N個哈希值，并在確定各個有效處理節點各自關聯的位向量中，存在與所述N個哈希值對應的N個位均被賦值的位向量時，判定所述一個待判定報文數據為重復報文數據，并將終止指針對應的目標處理節點關聯的位向量中，與所述N個哈希值對應的N個位進行賦值后，丟棄所述一個待判定報文數據。

2.如權利要求1所述的方法，其特征在于，所述根據重復報文的判定內容，將各個報文數據解封為各個待判定報文數據，包括：

確定重復報文的判定內容為應用層內容時，將解封至應用層的各個報文數據作為各個待判定報文數據；或者，

確定重復報文的判定內容為會話層及以上層級內容時，將解封至所述會話層的各個報文數據作為各個待判定報文數據；或者，

確定重復報文的判定內容為網絡層及以上層級內容時，將解封至所述網絡層的各個報文數據作為各個待判定報文數據；或者，

確定重復報文的判定內容為數據鏈路層及以上層級內容時，將解封至所述數據鏈路層的各個報文數據作為各個待判定報文數據。

3.如權利要求1所述的方法，其特征在于，所述采用相互獨立的N個哈希函數對一個待判定報文數據進行處理，得到對應的N個哈希值之后，進一步包括：

確定各個有效處理節點各自關聯的位向量中，不存在與所述N個哈希值對應的N個位均被賦值的位向量時，判定所述一個待判定報文數據為非重復報文數據；

將所述一個待判定報文數據上報至網絡可視化分析系統進行分析處理，并將終止指針對應的目標處理節點關聯的位向量中，與所述N個哈希值對應的N個位進行賦值。

4.如權利要求1所述的方法，其特征在于，所述判定所述一個待判定報文數據為重復報文數據之后，所述將終止指針對應的目標處理節點關聯的位向量中，與所述N個哈希值對應的N個位進行賦值之前，進一步包括：

確定所述N個位均被賦值的位向量所關聯的一個有效處理節點，以及確定所述一個有效處理節點不是終止指針所對應的目標處理節點。

5.如權利要求1所述的方法，其特征在于，所述判定所述一個待判定報文數據為重復報文數據之后，進一步包括：

確定所述N個位均被賦值的位向量所關聯的一個有效處理節點，以及確定所述一個有效處理節點是終止指針所對應的目標處理節點時，直接丟棄所述一個待判定報文數據。

6.如權利要求1-5任一項所述的方法，其特征在于，進一步包括：

將所述時間戳下的環形示意區域內，除有效處理節點所映射的扇形區域外的其他扇形區域設置為老化區域，將所述老化區域內的完整扇形區域所對應的處理節點設置為老化處理節點，并對老化處理節點關聯的位向量中的各個位進行初始化處理。