[發明專利]URL匹配方法、URL匹配設備及存儲介質

有效

• 申請號: 201710451043.5
• 申請日: 2017-06-15
• 公開（公告）號: CN107402959B
• 公開（公告）日: 2020-01-17
• 發明（設計）人: 盧毓海;張春燕;劉燕兵;譚建龍;郭莉
• 申請（專利權）人: 中國科學院信息工程研究所
• 主分類號: G06F16/958
• 分類號: G06F16/958;G06F16/955;G06F16/901
• 代理公司: 11200 北京君尚知識產權代理有限公司
• 代理人: 邵可聲

本發明提供URL匹配方法、URL匹配設備及存儲介質，該方法通過將輸入的待匹配的原始URL數據在URL結果緩存中查詢是否已存儲過其對應的信息，若是則查詢標志位及已命中規則表得到以前是否匹配的信息，輸出匹配結果；否則在模式匹配引擎中進行匹配，并進行存儲URL數據。該方法對大量重復的URL數據去重，以降低URL數據重復匹配次數，提高匹配速度。同時本發明采用比實際串匹配復雜度低的多項式散列算法，但不僅限于多項式散列算法。在增添數據去重操作后可以減少重復的URL數據的匹配次數，達到去重和降低匹配時間的目的。

技術領域

本發明涉及內容過濾、信息安全等領域，尤其涉及URL匹配方法、URL匹配設備及存儲介質。

背景技術

隨著計算機網絡的發展，通過網絡進行娛樂、工作、休閑等已經占據著生活的大部分時間，萬維網的應用已占因特網通信量的90％。在這種情況下，需要對訪問的URL(Uniform Resource Locator，統一資源定位符)進行匹配，進而對訪問的URL進行控制，提高工作效率。

一種傳統的URL匹配方法主要利用串匹配的算法針對URL規則集合做處理，如根據URL“黑名單”的過濾特點，利用AC(Aho-Corasick)算法，采取啟發式策略從URL規則中選取定長、具有特點的子串，并利用雙數組進行壓縮。另一種傳統的URL匹配方法主要利用路由器與緩存引擎之間的通信協議(WCCP)完成URL匹配。

上述兩種傳統的URL匹配方法主要從常規性的內容過濾系統的角度來實現對URL的匹配過程，但是，在實際進行URL匹配時，待匹配的URL數據中存在大量的重復URL數據，這些重復的URL數據使得匹配過程重復匹配了多次數據，從而降低了傳統URL匹配方法的匹配效率。

發明內容

由于真實網絡流量下URL數據的重復率比較高，對網絡流量匹配時往往有大量數據重復匹配，這樣會降低匹配速度。本發明旨在提供URL匹配方法、URL匹配設備及存儲介質，該方法能夠針對網絡流量中的文本匹配問題快速匹配規則，并且能夠將大規模的URL數據去重，以達到避免重復匹配數據的目的。

針對上述目的，本發明所采用的技術方案為：

一種URL匹配方法，其步驟為：

1)將待匹配的原始URL數據進行雙哈希運算，得到雙哈希值hash₁、hash₂及其對應的哈希值h；

2)若在哈希表中查詢到哈希值為h的哈希節點，則查詢該哈希節點的雙哈希值與上述待匹配的原始URL數據的雙哈希值是否都相等；

3)若相等，則判斷上述哈希節點的標志位start和end是否滿足預設條件；

4)若上述哈希節點的標志位start和end滿足預設條件，則上述待匹配的原始URL數據匹配已命中規則表中的一條規則。

進一步地，步驟2)中所述哈希表與步驟4)中所述已命中規則表位于URL結果緩存中。

進一步地，步驟2)還包括：若在哈希表中未查詢到哈希值為h的哈希節點，則直接結束，轉到模式匹配引擎匹配所述待匹配的原始URL數據，并返回結果。

進一步地，步驟3)中所述預設條件是指哈希節點的標志位start和end不相等。

更進一步地，步驟3)還包括：若上述哈希節點的雙哈希值與上述待匹配的原始URL數據的雙哈希值不相等，則在上述哈希表中查詢是否還有其它哈希值為h的哈希節點；若沒有則利用模式匹配引擎匹配所述待匹配的原始URL數據，并返回結果。

更進一步地，當模式匹配引擎匹配所述待匹配的原始URL數據，并返回結果時，將該待匹配的原始URL數據存入URL結果緩存，其步驟包括：