[發明專利]數據去重方法、裝置、設備及介質

有效

• 申請號: 201910745028.0
• 申請日: 2019-08-13
• 公開（公告）號: CN110457305B
• 公開（公告）日: 2021-11-26
• 發明（設計）人: 常郅博;李陽
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06F16/215
• 分類號: G06F16/215;G06F16/25
• 代理公司: 深圳市深佳知識產權代理事務所(普通合伙) 44285
• 代理人: 王仲凱

1.一種數據去重方法，其特征在于，包括：

獲取服務器發送的樣本庫，以得到本地樣本庫；

獲取目標請求，并將所述目標請求添加至預設數據庫中的請求隊列；

獲取所述預設數據庫發送的目標子隊列；所述目標子隊列中的請求為當前所述請求隊列中的位于所述目標請求之前的所有請求；

判斷所述目標請求對應的目標樣本是否與所述目標子隊列所對應的樣本相似，若相似，則禁止將所述目標樣本寫入所述本地樣本庫，若均不相似，則判斷所述目標樣本是否與所述本地樣本庫中的樣本相似；

若所述目標樣本與所述本地樣本庫中的樣本相似，則禁止將所述目標樣本寫入所述本地樣本庫，若所述目標樣本與所述本地樣本庫中的樣本均不相似，則將所述目標樣本寫入所述本地樣本庫；

其中，如果所述目標樣本中存在多個樣本，則所述判斷所述目標請求對應的目標樣本是否與所述目標子隊列所對應的樣本相似，若相似，則禁止將所述目標樣本寫入所述本地樣本庫，若均不相似，則判斷所述目標樣本是否與所述本地樣本庫中的樣本相似，包括：判斷所述目標樣本的內部是否存在相似樣本，如果是，則在目標樣本內部進行去重處理，以剔除所述目標樣本內部相似的重復樣本，從而得到優化后的目標樣本；判斷優化后的目標樣本是否與所述目標子隊列所對應的樣本相似；如果優化后的目標樣本與所述目標子隊列所對應的樣本之間存在相似的情況，則需要將這些相似樣本從優化后的目標樣本中剔除掉，得到剩余樣本，判斷所述剩余樣本是否與所述本地樣本庫中的樣本相似；如果優化后的目標樣本與所述目標子隊列所對應的樣本均不相似，則判斷優化后的目標樣本是否與所述本地樣本庫中的樣本相似。

2.根據權利要求1所述的數據去重方法，其特征在于，所述將所述目標樣本寫入所述本地樣本庫之后，還包括：

創建包含所述目標樣本的更新請求；

將所述更新請求發送至所述服務器，以便利用所述更新請求中的所述目標樣本對所述服務器中的所述樣本庫進行更新。

3.根據權利要求1所述的數據去重方法，其特征在于，所述將所述目標樣本寫入所述本地樣本庫之后，還包括：

記錄本次寫入操作對應的寫入時間戳，并將所述目標樣本作為增量樣本；

綁定所述寫入時間戳和所述增量樣本，得到相應的增量數據；

將所述增量數據發送至增量數據庫進行保存。

4.根據權利要求3所述的數據去重方法，其特征在于，所述判斷所述目標請求對應的目標樣本是否與所述本地樣本庫中的樣本相似之前，還包括：

創建包含獲取時間戳的增量數據請求；所述獲取時間戳為獲取到所述本地樣本庫時對應的時間戳；

將所述增量數據請求發送至所述增量數據庫；

獲取所述增量數據庫在對所述增量數據請求進行響應后返回的目標增量數據；所述目標增量數據為寫入時間戳晚于所述獲取時間戳的增量數據；

將所述目標增量數據和所述本地樣本庫進行合并，得到更新后的所述本地樣本庫。

5.根據權利要求3所述的數據去重方法，其特征在于，還包括：

按照預設周期，定期獲取當前所述服務器中的最新樣本庫以及當前所述增量數據庫中的增量數據；

判斷所述最新樣本庫是否包含當前所述增量數據庫中的增量數據；

如果包含，則向所述增量數據庫發送相應的刪除指令，以刪除所述增量數據庫中的增量數據。

6.根據權利要求1所述的數據去重方法，其特征在于，所述獲取服務器發送的樣本庫，以得到本地樣本庫之后，還包括：

判斷當前是否滿足預設的一致性維護條件；

如果滿足，則獲取當前所述服務器中的最新樣本庫；

在所述本地樣本庫和所述最新樣本庫之間進行數據同步，以維護所述本地樣本庫和所述最新樣本庫之間的數據一致性。

7.根據權利要求1至6任一項所述的數據去重方法，其特征在于，所述將所述目標樣本寫入所述本地樣本庫之后，還包括：

創建針對所述目標請求的移除指令；

將所述移除指令發送至所述預設數據庫，以便所述預設數據庫根據所述移除指令移除當前所述請求隊列中的所述目標請求。