[發明專利]一種大數據URL庫的匹配方法、裝置及存儲介質

在審

• 申請號: 202011626239.1
• 申請日: 2020-12-30
• 公開（公告）號: CN112632360A
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 張曉東
• 申請（專利權）人: 北京安博通科技股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955
• 代理公司: 武漢智嘉聯合知識產權代理事務所(普通合伙) 42231
• 代理人: 黃君軍

本發明涉及一種大數據URL庫的匹配方法、裝置及存儲介質，該方法包括：獲取域名；在第一URL庫中對域名進行匹配，其中，第一URL庫為內存中的URL庫；若在第一URL庫中匹配不成功，則確定域名對應的哈希值，并根據哈希值，在第二URL庫中對域名進行匹配，其中，第二URL庫為采用HASH分表存儲的URL數據庫；若在第二URL庫中匹配成功，則返回在第二URL庫中的匹配結果，并將域名和在第二URL庫中的匹配結果加載至第一URL庫中。本發明利用內存的第一URL庫進行查找，匹配不到則在第二URL庫進行匹配，采用不同HASH分表存儲的方式，大大的提高數據庫中查找的效率，同時如果數據庫中找到就將加載到內存中，增強內存的匹配效率。

技術領域

本發明涉及網絡管理技術領域，尤其涉及一種大數據URL庫的匹配方法、裝置及存儲介質。

背景技術

目前的安全設備都支持域名分類過濾功能。域名分類庫中包含新聞、金融、旅游、流媒體和視頻、體育、人文以及社交網絡等各類特征及其分類信息。管理員根據實際的需求，管理分類資源，如上班時間只允許訪問工作相關類的資源網站，阻斷金融、旅游、流媒體和視頻、體育等工作非相關類網站，隨著互聯網資源的大爆炸，使得域名成指數級增長，現有的域名匹配分類計算遭遇到極大的挑戰，需要有處理大數據的方法支持億級數據的快速匹配。

因此，如何綜合快速進行域名匹配是亟待解決的問題。

發明內容

有鑒于此，有必要提供一種大數據URL庫的匹配方法，用以解決如何綜合快速進行域名匹配的問題。

本發明提供一種大數據URL庫的匹配方法，包括：

獲取域名；

在第一URL庫中對所述域名進行匹配，其中，所述第一URL庫為內存中的URL庫；

若在所述第一URL庫中匹配不成功，則確定所述域名對應的哈希值，并根據所述哈希值，在第二URL庫中對所述域名進行匹配，其中，所述第二URL庫為采用HASH分表存儲的URL數據庫；

若在所述第二URL庫中匹配成功，則返回在所述第二URL庫中的匹配結果，并將所述域名和在所述第二URL庫中的匹配結果加載至所述第一URL庫中。

進一步地，所述在第一URL庫中對所述域名進行匹配包括：

根據所述域名，確定所述域名對應的所述哈希值；

根據所述哈希值，確定所述域名對應的所述哈希隊列；

根據所述哈希隊列，在所述第一URL庫中對所述域名進行匹配。

進一步地，上述大數據URL庫的匹配方法還包括：若在所述第一URL庫中匹配成功，則返回在所述第一URL庫中的匹配結果。

進一步地，上述大數據URL庫的匹配方法還包括：

若在所述第二URL庫中匹配不成功，則將所述域名添加至升級文件中；

根據所述升級文件進行升級進程解析，確定所述域名對應的所述哈希值；

將所述哈希值存儲在所述HASH分表中，確定更新后的所述第二URL庫。

進一步地，上述大數據URL庫的匹配方法還包括：

檢測所述第一URL庫中的匹配記錄，根據所述匹配記錄，定時清除所述第一URL庫中未達到預定匹配次數的URL信息。

進一步地，上述大數據URL庫的匹配方法還包括：

判斷所述第一URL庫中的URL信息的數目是否超過預設數目；

若超過，則檢測所述第一URL庫中的匹配記錄；