[發明專利]數據分片校驗方法、裝置、計算機設備及可讀存儲介質

有效

• 申請號: 202010908571.0
• 申請日: 2020-09-02
• 公開（公告）號: CN112052141B
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 何自興;張德順;張漢文;張煜清;馮宇;馮玉娜
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F11/30
• 分類號: G06F11/30;G06F16/13;G06F16/14;G06F16/182
• 代理公司: 北京英特普羅知識產權代理有限公司 11015
• 代理人: 程超

1.一種數據分片校驗方法，用于對分布式用戶端和集中式服務器之間的同步數據進行校驗，包括：

獲取分布式用戶端的用戶數據，及集中式服務器的服務數據；

執行分片進程，以分別對所述用戶數據和服務數據進行分片，匯總所述用戶數據中包含有同一用戶哈希碼的用戶數據元素得到用戶分片數據，及匯總所述服務數據中包含有同一服務哈希碼的服務數據元素得到服務分片數據；其中，所述用戶數據元素是構成所述用戶數據的最小單元，所述服務數據元素是構成所述服務數據的最小單元；其中，所述用戶哈希碼是通過hashmap方法中的第一哈希算法將用戶數據中的用戶鍵值進行hash運算后得到的哈希碼，所述服務哈希碼是通過hashmap方法中的第一哈希算法將服務數據中的服務鍵值進行hash運算后得到的哈希碼；

調用至少包含有一個計算服務器的分布式系統執行并行進程，以從用戶分片數據和服務分片數據中，獲取值相同的用戶哈希碼與服務哈希碼，以及與所述用戶哈希碼和服務哈希碼對應的用戶目標數據和服務目標數據；

執行核對進程，以對所述用戶目標數據和服務目標數據進行校驗以識別其中的異常數據；

所述核對進程包括：

從所述用戶目標數據和服務目標數據中提取值一致的用戶鍵值和服務鍵值，判斷所述用戶鍵值對應的目標文件與所述服務鍵值對應的目標文件是否一致；

若是，則判定所述用戶鍵值及其目標文件與所述服務鍵值及其目標文件一致，并將所述用戶鍵值對應的用戶分片數據的用戶狀態標簽修改為已核對，及將由所述服務鍵值對應的服務分片數據的服務狀態標簽修改為已核對；

若否，則判定所述用戶鍵值及其目標文件，與所述服務鍵值及其目標文件為非匹配數據；

從所述用戶目標數據中提取所述服務目標數據中不存在的用戶鍵值，并將所述用戶鍵值及其目標文件設為用戶單邊數據；從所述服務目標數據中提取所述用戶目標數據中不存在的服務鍵值，并將所述服務鍵值及其目標文件設為服務單邊數據；

匯總所述非匹配數據、用戶單邊數據和服務單邊數據得到異常數據。

2.根據權利要求1所述的數據分片校驗方法，其特征在于，執行分片進程之前，包括：

驗證所述用戶數據中的用戶鍵值是否具有與其對應的目標文件；若是，則保留所述用戶鍵值；若否，則判定所述用戶鍵值為用戶無效鍵值并將其保存在預設的異常數據庫中，及將所述用戶無效鍵值從所述用戶數據中刪除；

驗證所述服務數據中的服務鍵值是否具有與其對應的目標文件；若是，則保留所述服務鍵值；若否，則判定所述服務鍵值為服務無效鍵值并將其保存在預設的異常數據庫中，及將所述服務無效鍵值從所述服務數據中刪除。

3.根據權利要求1所述的數據分片校驗方法，其特征在于，所述分片進程包括：

獲取用戶數據的用戶哈希表，及服務數據的服務哈希表；其中，所述用戶哈希表反映了所述用戶數據中各用戶數據元素在分布式用戶端中的保存位置，所述服務哈希表反映了所述服務數據中各服務數據元素在集中式服務器中的保存位置；

識別所述用戶哈希表中哈希碼對應的哈希桶，提取所述哈希桶中的用戶數據元素并匯總，得到用戶分片數據；及識別所述服務哈希表中哈希碼對應的哈希桶，提取所述哈希桶中的服務數據元素并匯總得到服務分片數據。

4.根據權利要求1所述的數據分片校驗方法，其特征在于，執行分片進程之后，包括：

將所述用戶分片數據錄入預設的用戶記錄表中，并在所述用戶記錄表中的用戶分片數據上載入用戶狀態標簽；及將所述服務分片數據錄入預設的服務記錄表中，并在所述服務記錄表中的服務分片數據上載入服務狀態標簽。