[發明專利]一種數據驗重的方法和裝置

有效

• 申請號: 201610051295.4
• 申請日: 2016-01-26
• 公開（公告）號: CN105631042B
• 公開（公告）日: 2019-02-22
• 發明（設計）人: 王石磊
• 申請（專利權）人: 北京京東尚科信息技術有限公司;北京京東世紀貿易有限公司
• 主分類號: G06F16/11
• 分類號: G06F16/11;G06F16/172;G06F11/14
• 代理公司: 中原信達知識產權代理有限責任公司 11219
• 代理人: 姜勁;陸錦華

本發明提供一種數據驗重的方法和裝置，能夠避免單獨使用緩存服務器檢驗數據重復時不便查詢和操作的問題，同時解決了海量數據的存儲問題，提高了數據去重的準確性和高效性。本發明的方法包括接收待檢驗數據，并將數據發送給第一服務器；然后接收第一服務器返回的判斷結果，當判斷結果表明數據已存在于第一服務器時，輸出用于表示數據為重復數據的提示信息；否則，將數據發送給第二服務器；然后接收第二服務器返回的判斷結果，當判斷結果表明數據已存在于第二服務器時，輸出用于表示數據為重復數據的提示信息，并將數據保存在所述第一服務器中；否則，輸出數據為非重復數據的提示信息，并將數據存儲于第二服務器中，以及將數據保存在第一服務器中。

技術領域

本發明涉及計算機及其軟件技術領域，尤其涉及一種數據驗重的方法和裝置。

背景技術

當前互聯網的系統都會面對數據重復接收的情況，根據不同的業務情況，重復數據造成的影響或大或小。大部分的系統都會采用緩存機制來驗證數據是否重復。

現有的驗證數據是否重復的方法，主要是通過redis服務器來實現的。每次需要驗證數據時，調用redis服務器來判斷待驗證的數據是否已存在，如果已存在則返回該數據相關的信息，否則返回空，并存放此數據。具體的步驟如下：

a)調用redis服務器的api方法，將需要驗證的數據傳遞到redis服務器；

b)如果該數據已存在于redis服務器上，則redis服務器返回該數據相關的信息；

c)如果該數據未存在于redis服務器上，則redis服務器返回空；

d)業務代碼根據判斷該數據不存在時，將調用redis的api方法,將該數據存放到redis服務器。

現有技術主要存在以下缺點：

1.內存的容量有限。內存的容量無法和硬盤的容量相比，現有redis的最大申請容量為32G，而申請的服務器的硬盤容量遠遠大于32G；

2.緩存的數據不方便查詢和操作。查詢redis的數據，首先需要知道數據存放的結構，再編寫對應的代碼，才能進行查詢或是遍例。

3.內存在掉電時內容會丟失。最簡單的例子就是，電腦正常關機后，內存中的數據全部丟失。

發明內容

有鑒于此，本發明提供一種數據驗重的方法和裝置，能夠避免單獨使用緩存服務器檢驗數據重復時不方便查詢和操作的問題，同時由于本發明技術方案可以將緩存服務器中的數據存儲于另一個增加的服務器中，因而解決海量數據的存儲問題，也避免了由于關機或者斷電而引起的數據丟失的問題，最終提高了數據去重的準確性和高效性。

為實現上述目的，根據本發明的一個方面，提供了一種數據驗重的方法。

本發明的數據驗重的方法，包括：接收待檢驗數據，并將待檢驗數據發送給第一服務器，以供第一服務器判斷該待檢驗數據是否已經存在于第一服務器中；接收所述第一服務器所返回的判斷結果，當該判斷結果表明所述待檢驗數據已存在于第一服務器時，輸出用于表示所述待檢驗數據為重復數據的提示信息；否則，將待檢驗數據發送給第二服務器，以供第二服務器判斷該待檢驗數據是否已經存在于第二服務器中；接收所述第二服務器所返回的判斷結果，當該判斷結果表明所述待檢驗數據已存在于第二服務器時，輸出用于表示所述待檢驗數據為重復數據的提示信息，并且將所述待檢驗數據保存在所述第一服務器中；否則，輸出所述待檢驗數據為非重復數據的提示信息，并且將所述待檢驗數據存儲于所述第二服務器中，以及將所述待檢驗數據保存在所述第一服務器中。