[發明專利]一種字符串的查重方法、裝置、終端設備及存儲介質

在審

• 申請號: 202010613366.1
• 申請日: 2020-06-30
• 公開（公告）號: CN111831869A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 趙洋;包榮鑫;王宇;夏政委
• 申請（專利權）人: 深圳價值在線信息科技股份有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06F16/9532
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 閆冰冰

本申請適用于數據篩選技術領域，提供了一種字符串的查重方法、裝置、終端設備及存儲介質，該方法包括：獲取待查重的兩個字符串，其中，所述兩個字符串分別為第一字符串和第二字符串；獲取匹配窗口，并基于所述匹配窗口分割所述第一字符串，獲得兩個子字符串；基于所述匹配窗口，計算第一子字符串和所述第二字符串中匹配的字符數量，其中，所述第一子字符串為所述兩個子字符串中的任一個；如果所述字符數量小于匹配閾值，則確定所述第一字符串和第二字符串不重復，所述匹配閾值由所述匹配窗口確定；本申請減少了字符的比較數量，使查重更簡單，提高了查重的效率和準確率。

技術領域

本申請屬于數據篩選技術領域，尤其涉及一種字符串的查重方法、裝置、終端設備及存儲介質。

背景技術

隨著互聯網的發展，網絡成為人們獲取信息的主要來源。隨之而來的，網絡上的字符串數量也在成千上萬的增加。網絡上存在的抄襲和轉載現象，造成字符串繁雜、重復，大大降低了人們檢索的效率。因此，在將網絡上的信息存儲時，將重復的字符串去除是提高檢索效率的方法之一。

目前，字符串的查重方法主要采用SimHash算法、Levenshtein距離算法和布隆過濾器等。SimHash算法對于短字符串的處理能力較差，Levenshtein距離算法的運算時間較長，布隆過濾器在處理大量字符串時誤算率高。因此，提高字符串查重時的效率和準確率是目前需要解決的問題。

發明內容

本申請實施例提供了一種字符串的查重方法、裝置、終端設備及存儲介質，可以解決目前字符串查重效率低和準確率低的問題。

第一方面，本申請實施例提供了一種字符串的查重方法，包括：

獲取待查重的兩個字符串，其中，所述兩個字符串分別為第一字符串和第二字符串；

獲取匹配窗口，并基于所述匹配窗口分割所述第一字符串，獲得兩個子字符串；

基于所述匹配窗口，計算第一子字符串和所述第二字符串中匹配的字符數量，其中，所述第一子字符串為所述兩個子字符串中的任一個；

如果所述字符數量小于匹配閾值，則確定所述第一字符串和第二字符串不重復，所述匹配閾值由所述匹配窗口確定。

第二方面，本申請實施例提供了一種字符串的查重裝置，包括：

字符串獲取模塊，用于獲取待查重的兩個字符串，其中，所述兩個字符串分別為第一字符串和第二字符串；

字符串分割模塊，用于獲取匹配窗口，并基于所述匹配窗口分割所述第一字符串，獲得兩個子字符串；

計算模塊，用于基于所述匹配窗口，計算第一子字符串和所述第二字符串中匹配的字符數量，其中，所述第一子字符串為所述兩個子字符串中的任一個；

判斷模塊，用于如果所述字符數量小于匹配閾值，則確定所述第一字符串和第二字符串不重復，所述匹配閾值由所述匹配窗口確定。

第三方面，本申請實施例提供了一種終端設備，包括：存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現上述第一方面中任一項所述的字符串的查重方法。

第四方面，本申請實施例提供了一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現上述第一方面中任一項所述的字符串的查重方法。

第五方面，本申請實施例提供了一種計算機程序產品，當計算機程序產品在終端設備上運行時，使得終端設備執行上述第一方面中任一項所述的字符串的查重方法。

可以理解的是，上述第二方面至第五方面的有益效果可以參見上述第一方面中的相關描述，在此不再贅述。