[發明專利]一種字符串的查重方法、裝置、終端設備及存儲介質

在審

• 申請號: 202010613366.1
• 申請日: 2020-06-30
• 公開（公告）號: CN111831869A
• 公開（公告）日: 2020-10-27
• 發明（設計）人: 趙洋;包榮鑫;王宇;夏政委
• 申請（專利權）人: 深圳價值在線信息科技股份有限公司
• 主分類號: G06F16/903
• 分類號: G06F16/903;G06F16/9532
• 代理公司: 深圳中一聯合知識產權代理有限公司 44414
• 代理人: 閆冰冰

1.一種字符串的查重方法，其特征在于，包括：

獲取待查重的兩個字符串，其中，所述兩個字符串分別為第一字符串和第二字符串；

獲取匹配窗口，并基于所述匹配窗口分割所述第一字符串，獲得兩個子字符串；

基于所述匹配窗口，計算第一子字符串和所述第二字符串中匹配的字符數量，其中，所述第一子字符串為所述兩個子字符串中的任一個；

如果所述字符數量小于匹配閾值，則確定所述第一字符串和第二字符串不重復，所述匹配閾值由所述匹配窗口確定。

2.如權利要求1所述的字符串的查重方法，其特征在于，所述獲取匹配窗口，包括：

基于公式計算所述匹配窗口，其中，max_compare為所述匹配窗口，S₁為所述第一字符串的長度，S₂為所述第二字符串的長度。

3.如權利要求1所述的字符串的查重方法，其特征在于，所述基于所述匹配窗口分割所述第一字符串，獲得兩個子字符串，包括：

將所述第一字符串中的第1個字符至第n個字符作為前段字符串，并將第n+1個字符至最后一個字符作為后段字符串，其中，n＞1，且n為所述匹配窗口。

4.如權利要求3所述的字符串的查重方法，其特征在于，所述基于所述匹配窗口，計算第一子字符串和所述第二字符串中匹配的字符數量，包括：

基于第一子字符串中各字符在所述第一字符串中的位置，從所述第二字符串中得到所述第一子字符串中各字符的匹配字符串；

基于所述匹配窗口，確定所述第一子字符串中各字符與對應的匹配字符串中的字符是否為匹配字符；

獲取所述匹配字符的對數，并將所述對數作為所述字符數量。

5.如權利要求4所述的字符串的查重方法，其特征在于，所述基于第一子字符串中各字符在所述第一字符串中的位置，從所述第二字符串中得到所述第一子字符串中各字符的匹配字符串，包括：

獲取所述第一子字符串中的第i個字符在所述第一字符串中的第一下標a；

在所述第一子字符串為所述前段字符串時，將所述第二字符串中的第1個字符至第a+n+1個字符作為所述第i個字符的匹配字符串，其中，1≤i≤n；

在所述第一子字符串為所述后段字符串時，將所述第二字符串中的第a-n+1個字符至最后一個字符作為所述第i個字符的匹配字符串，其中，1≤i≤m-n，m為所述第一字符串中字符的數量。

6.如權利要求1所述的字符串的查重方法，其特征在于，在所述基于所述匹配窗口，計算第一子字符串和所述第二字符串中匹配的字符數量之后，還包括：

如果所述字符數量大于或等于匹配閾值，獲取第二子字符串，其中，所述第二子字符串是所述兩個子字符串中除所述第一子字符串以外的另一字符串，其中，所述匹配閾值基于公式確定，max_compare為所述匹配窗口，y為匹配閾值；

計算所述第二子字符串和所述第二字符串的Jaro距離；

在所述Jaro距離大于或等于預設的相似度閾值時，確定所述第一字符串與所述第二字符串不重復；

在所述Jaro距離小于所述相似度閾值時，確定所述第一字符串與所述第二字符串重復。

7.如權利要求1至6任一項所述的字符串的查重方法，其特征在于，在所述獲取匹配窗口，并基于所述匹配窗口分割所述第一字符串，獲得兩個子字符串之前，還包括：

在所述兩個字符串中的一個字符串是基準字符串時，確定所述兩個字符串中的另一個字符串的長度是否在預設長度范圍內；

在另一個字符串的長度不在預設長度范圍內時，確定所述兩個字符串不重復，其中，所述預設長度范圍為l₁為基準字符串的長度，l₂為滿足預設長度范圍的字符串的長度，ratio為相似度閾值；

相應的，在另一個字符串的長度在預設長度范圍內時，獲取匹配窗口，并基于所述匹配窗口分割所述第一字符串，獲得兩個子字符串。