[發明專利]URL去重方法、裝置、設備與計算機可讀存儲介質

在審

• 申請號: 201911065342.0
• 申請日: 2019-10-31
• 公開（公告）號: CN110825947A
• 公開（公告）日: 2020-02-21
• 發明（設計）人: 張強
• 申請（專利權）人: 深圳前海微眾銀行股份有限公司
• 主分類號: G06F16/951
• 分類號: G06F16/951;G06F16/955;G06F21/57
• 代理公司: 深圳市世紀恒程知識產權代理事務所 44287
• 代理人: 王韜

本發明公開了一種URL去重方法，包括：獲取預設的原始URL集合，并對所述原始URL集合進行過濾處理，以得到待去重URL集合；構建所述待去重URL集合中各待去重URL之間的差異特征集合，所述差異特征集合中包含同類相似值，所述同類相似值用于表征與該所述差異特征集合滿足預設同類條件的差異特征集合的數量；確定包含的所述同類相似值超過預設閾值的目標差異特征集合，并對所述目標差異特征集合對應的待泛化URL進行泛化處理；根據泛化結果，確定并剔除重復URL。本發明還公開了一種URL去重裝置、設備和計算機可讀存儲介質。本發明采用雙重去重，在一開始過濾明顯重復的URL，再通過泛化處理，將存在差異的但實際所屬同一類的URL進行剔除，進而提高URL的去重精度。

技術領域

本發明涉及金融科技(Fintech)技術領域，尤其涉及URL去重方法、裝置、設備與計算機可讀存儲介質。

背景技術

近年來，隨著金融科技(Fintech)，尤其是互聯網金融的不斷發展，去重技術被引入銀行等金融機構日常服務中，在銀行等金融機構日常服務過程中，不可避免的會出現漏洞問題，針對漏洞問題，銀行等金融機構一般是通過網站爬蟲爬取相關網站的URL(UniformResource Locator，統一資源定位符)，并通過存儲有相關特征的漏洞倉庫進行漏洞掃描，當掃描到有對應的特征時，即認為當前網站有漏洞存在。而URL去重則是指將重復爬取的URL去除，避免多次抓取同一頁面，增加掃描工作量。

現有的URL去重通常采用Hash表、Bloom Filter(布隆過濾器)等工具對URL進行去重，其基本原理都是將待去重URL與其他URL進行比較，剔除重復的URL，然而現有的URL去重工具，都不太友好，要么去重標準過于嚴苛，導致掃描任務加重，掃描效率偏低；要么去重標準過于寬松，導致未能發現潛藏的漏洞，使得漏洞發現覆蓋率偏低，影響掃描結果等，因此，如何平衡掃描效率以及掃描結果，從而提高URL的去重精度，是亟待解決的技術問題。

發明內容

本發明的主要目的在于提出一種URL去重方法、裝置、設備與計算機可讀存儲介質，旨在提高URL的去重精度。

為實現上述目的，本發明提供一種URL去重方法，所述URL去重方法包括如下步驟：

獲取預設的原始URL集合，并對所述原始URL集合進行過濾處理，以得到待去重URL集合；

構建所述待去重URL集合中各待去重URL之間的差異特征集合，所述差異特征集合中包含同類相似值，所述同類相似值用于表征與該所述差異特征集合滿足預設同類條件的差異特征集合的數量；

確定包含的所述同類相似值超過預設閾值的目標差異特征集合，并對所述目標差異特征集合對應的待泛化URL進行泛化處理；

根據泛化結果，確定并剔除重復URL。

優選地，所述構建所述待去重URL集合中各待去重URL之間的差異特征集合的步驟包括：

依次從所述待去重URL集合中選擇當前待去重URL，并從其他的待去重URL中確定所述當前待去重URL對應的一個以上的比較URL，確定當前待去重URL與各個所述比較URL之間的相同特征的位置和差異特征的位置；

基于所述相同特征的位置和所述差異特征的位置，構建當前待去重URL與所述比較URL的差異特征集合。

優選地，所述基于所述相同特征的位置和所述差異特征的位置，構建當前待去重URL與所述比較URL的差異特征集合的步驟包括：

從所述當前待去重URL對應的一個以上的所述比較URL中依次選取出當前比較URL，將所述當前待去重URL與所述當前比較URL的相同特征的位置和差異特征的位置分別作為目標相同位置和目標差異位置；

判斷在已構建的差異特征集合中，是否存在同時包含全部所述目標相同位置和所述目標差異位置的差異特征集合；