[發明專利]一種利用布隆過濾器過濾黑白名單的方法

在審

• 申請號: 202011184354.8
• 申請日: 2020-10-28
• 公開（公告）號: CN112364017A
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 蘭雨晴;余丹;王丹星;劉瑋
• 申請（專利權）人: 中標慧安信息技術股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/2455
• 代理公司: 北京廣技專利代理事務所(特殊普通合伙) 11842
• 代理人: 張國香

本發明提供了一種利用布隆過濾器過濾黑白名單的方法，所述方法執行以下步驟：步驟1：根據預置的黑白名單，設置比特數組的大小；步驟2：將所述黑白名單映射到所述比特數組；步驟3：對檢測信息進行哈希計算，得到哈希值，并將所述哈希值與所述比特數組進行比對，根據比對結果確定所述檢測信息是否存在于所述黑白名單中。根據本發明的方法，使用布隆過濾器檢索黑白名單，大大提升檢索效率，降低內存損耗，保證事件產生的實時性和多路同時檢測的性能。

技術領域

本發明涉及智能識別技術領域，特別涉及一種利用布隆過濾器過濾黑白名單的方法。

背景技術

目前，在智能識別中主要存在兩種過濾黑名單的方法，一種是根據智能檢測結果直接查詢數據庫黑白名單表，查詢是否存在相關記錄，但這種方法的缺陷在于數據庫操作效率低，當同時開啟多路智能檢測或者數據量龐大時，務必會影響到整個智能識別系統的性能；另一種是通過在智能識別系統開啟緩存區來提升速度，緩存策略可以提升查詢速度，但是這種方法的缺陷在于，當黑白名單數據比較多的時候，會消耗大量的內存。

發明內容

本發明提供一種利用布隆過濾器過濾黑白名單的方法，用以在提升檢索效率的同時降低內存損耗。

本發明提供了一種利用布隆過濾器過濾黑白名單的方法，所述方法執行以下步驟：

步驟1：根據預置的黑白名單，設置比特數組的大小；

步驟2：將所述黑白名單映射到所述比特數組；

步驟3：對檢測信息進行哈希計算，得到哈希值，并將所述哈希值與所述比特數組進行比對，根據比對結果確定所述檢測信息是否存在于所述黑白名單中。

進一步地，所述步驟1：所述根據預置的黑白名單，設置比特數組的大小包括：

根據預置的黑白名單的大小，設置布隆過濾器所申請的緩存區中比特數組的長度。

進一步地，在所述步驟1中，根據以下公式設置布隆過濾器所申請的緩存區中比特數組的長度：

k＝(m/n)/ln2

其中，k表示哈希函數的個數，m表示布隆過濾器所申請的緩存區中比特數組的長度，n表示布隆過濾器中元素的數量。

進一步地，所述步驟2：將所述黑白名單映射到所述比特數組包括：

根據用戶配置的黑白名單的結構信息，采用多個哈希算法映射到所述比特數組。

進一步地，所述黑白名單的結構信息包括：標記所述黑白名單記錄中每一條記錄的特征值，

并且所述黑白名單記錄包括：姓名、身份證、性別、家庭住址中的至少一種。

進一步地，在所述步驟2中，將所述黑白名單映射到所述比特數組所采用的哈希算法包括：murmurhash或FNV。

進一步地，所述步驟3：對檢測信息進行哈希計算，得到哈希值，并將所述哈希值與所述比特數組進行比對，根據比對結果確定所述檢測信息是否存在于所述黑白名單中執行以下步驟：

步驟S31：對智能檢測信息進行哈希計算，得到哈希值；

步驟S32：將所述哈希值與所述比特數組進行比對；

步驟S33：若所述比特數組中與所述哈希值對應的每個比特位均匹配成功，則所述檢測信息存在于所述黑白名單中；

步驟S34：若所述比特數組中與所述哈希值對應的至少一個比特位未匹配成功，則所述檢測信息不存在于所述黑白名單中。

進一步地，所述步驟S31：對智能檢測信息進行哈希計算，得到哈希值包括：