[發(fā)明專(zhuān)利]數(shù)據(jù)分片校驗(yàn)方法、裝置、計(jì)算機(jī)設(shè)備及可讀存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202010908571.0
• 申請(qǐng)日: 2020-09-02
• 公開(kāi)（公告）號(hào): CN112052141B
• 公開(kāi)（公告）日: 2022-04-01
• 發(fā)明（設(shè)計(jì)）人: 何自興;張德順;張漢文;張煜清;馮宇;馮玉娜
• 申請(qǐng)（專(zhuān)利權(quán)）人: 平安科技（深圳）有限公司
• 主分類(lèi)號(hào): G06F11/30
• 分類(lèi)號(hào): G06F11/30;G06F16/13;G06F16/14;G06F16/182
• 代理公司: 北京英特普羅知識(shí)產(chǎn)權(quán)代理有限公司 11015
• 代理人: 程超

本發(fā)明涉及云服務(wù)技術(shù)領(lǐng)域，公開(kāi)了一種數(shù)據(jù)分片校驗(yàn)方法、裝置、計(jì)算機(jī)設(shè)備及可讀存儲(chǔ)介質(zhì)，包括：獲取用戶(hù)數(shù)據(jù)及服務(wù)數(shù)據(jù)；執(zhí)行分片進(jìn)程，以分別對(duì)用戶(hù)數(shù)據(jù)和服務(wù)數(shù)據(jù)進(jìn)行分片得到用戶(hù)分片數(shù)據(jù)及服務(wù)分片數(shù)據(jù)；執(zhí)行并行進(jìn)程，以獲取值相同的用戶(hù)哈希碼與服務(wù)哈希碼，以及與用戶(hù)哈希碼和服務(wù)哈希碼對(duì)應(yīng)的用戶(hù)目標(biāo)數(shù)據(jù)和服務(wù)目標(biāo)數(shù)據(jù)；執(zhí)行核對(duì)進(jìn)程，以對(duì)用戶(hù)目標(biāo)數(shù)據(jù)和服務(wù)目標(biāo)數(shù)據(jù)進(jìn)行校驗(yàn)以識(shí)別其中的異常數(shù)據(jù)。本發(fā)明不僅提高了數(shù)據(jù)核對(duì)效率的技術(shù)效果，還避免了占用集中式服務(wù)器的內(nèi)存和算力，進(jìn)而避免了當(dāng)前用戶(hù)端無(wú)法在比對(duì)操作執(zhí)行過(guò)程中調(diào)用集中式服務(wù)器的數(shù)據(jù)庫(kù)中其他信息的問(wèn)題，極大的提升了用戶(hù)端與服務(wù)器之間數(shù)據(jù)交互與調(diào)用的效率。

技術(shù)領(lǐng)域

本發(fā)明涉及云服務(wù)技術(shù)領(lǐng)域，尤其涉及一種數(shù)據(jù)分片校驗(yàn)方法、裝置、計(jì)算機(jī)設(shè)備及可讀存儲(chǔ)介質(zhì)。

背景技術(shù)

所述分布式用戶(hù)端與集中式服務(wù)器之間產(chǎn)生數(shù)據(jù)交互，例如：交易，金融管理，理財(cái)?shù)忍摂M貨幣交易場(chǎng)景，并最終完成數(shù)據(jù)同步，如：經(jīng)過(guò)所述虛擬貨幣交易后，所述用戶(hù)端中保存的金融信息與集中式服務(wù)器中保存的金融信息應(yīng)為一致。然而，由于分布式用戶(hù)端的數(shù)量龐大，因此，集中式服務(wù)器在與分布式用戶(hù)端進(jìn)行數(shù)據(jù)同步時(shí)可能會(huì)出現(xiàn)同步失敗等問(wèn)題，而同步失敗后所得到的同步數(shù)據(jù)往往會(huì)仍然保存在所述用戶(hù)端和服務(wù)器中，導(dǎo)致分布式用戶(hù)端與集中式服務(wù)器之間的數(shù)據(jù)產(chǎn)生差異，且很難被識(shí)別出來(lái)。

為保證所述服務(wù)器和用戶(hù)端之間的數(shù)據(jù)是同步的，當(dāng)前做法方法是，提取分布式用戶(hù)端中的用戶(hù)數(shù)據(jù)，并將其錄入集中式服務(wù)器的數(shù)據(jù)庫(kù)中，在所述數(shù)據(jù)庫(kù)內(nèi)將用戶(hù)數(shù)據(jù)與服務(wù)數(shù)據(jù)進(jìn)行一一比對(duì)。但是，發(fā)明人意識(shí)到，這種做法的比對(duì)過(guò)程不僅會(huì)調(diào)用集中式服務(wù)器的大量資源，而且由于數(shù)據(jù)量的龐大，其比對(duì)過(guò)程將十分緩慢；又由于所述比對(duì)過(guò)程是在數(shù)據(jù)庫(kù)中進(jìn)行的，因此，所述用戶(hù)端無(wú)法在所述比對(duì)操作執(zhí)行過(guò)程中調(diào)用集中式服務(wù)器的數(shù)據(jù)庫(kù)中其他信息，極大的降低了用戶(hù)端與服務(wù)器之間數(shù)據(jù)交互與調(diào)用的效率。

發(fā)明內(nèi)容

本發(fā)明的目的是提供一種數(shù)據(jù)分片校驗(yàn)方法、裝置、計(jì)算機(jī)設(shè)備及可讀存儲(chǔ)介質(zhì)，用于解決現(xiàn)有技術(shù)存在的比對(duì)過(guò)程將十分緩慢，及用戶(hù)端無(wú)法在所述比對(duì)操作執(zhí)行過(guò)程中調(diào)用集中式服務(wù)器的數(shù)據(jù)庫(kù)中其他信息，極大的降低了用戶(hù)端與服務(wù)器之間數(shù)據(jù)交互與調(diào)用的效率的問(wèn)題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供一種數(shù)據(jù)分片校驗(yàn)方法，用于對(duì)分布式用戶(hù)端和集中式服務(wù)器之間的同步數(shù)據(jù)進(jìn)行校驗(yàn)，包括：

獲取分布式用戶(hù)端的用戶(hù)數(shù)據(jù)，及集中式服務(wù)器的服務(wù)數(shù)據(jù)；

執(zhí)行分片進(jìn)程，以分別對(duì)所述用戶(hù)數(shù)據(jù)和服務(wù)數(shù)據(jù)進(jìn)行分片，匯總所述用戶(hù)數(shù)據(jù)中包含有同一用戶(hù)哈希碼的用戶(hù)數(shù)據(jù)元素得到用戶(hù)分片數(shù)據(jù)，及匯總所述服務(wù)數(shù)據(jù)中包含有同一服務(wù)哈希碼的服務(wù)數(shù)據(jù)元素得到服務(wù)分片數(shù)據(jù)；其中，所述用戶(hù)數(shù)據(jù)元素是構(gòu)成所述用戶(hù)數(shù)據(jù)的最小單元，所述服務(wù)數(shù)據(jù)元素是構(gòu)成所述服務(wù)數(shù)據(jù)的最小單元；

調(diào)用至少包含有一個(gè)計(jì)算服務(wù)器的分布式系統(tǒng)執(zhí)行并行進(jìn)程，以從用戶(hù)分片數(shù)據(jù)和服務(wù)分片數(shù)據(jù)中，獲取值相同的用戶(hù)哈希碼與服務(wù)哈希碼，以及與所述用戶(hù)哈希碼和服務(wù)哈希碼對(duì)應(yīng)的用戶(hù)目標(biāo)數(shù)據(jù)和服務(wù)目標(biāo)數(shù)據(jù)；

執(zhí)行核對(duì)進(jìn)程，以對(duì)所述用戶(hù)目標(biāo)數(shù)據(jù)和服務(wù)目標(biāo)數(shù)據(jù)進(jìn)行校驗(yàn)以識(shí)別其中的異常數(shù)據(jù)。

上述方案中，執(zhí)行分片進(jìn)程之前，包括：

驗(yàn)證所述用戶(hù)數(shù)據(jù)中的用戶(hù)鍵值是否具有與其對(duì)應(yīng)的目標(biāo)文件；若是，則保留所述用戶(hù)鍵值；若否，則判定所述用戶(hù)鍵值為用戶(hù)無(wú)效鍵值并將其保存在預(yù)設(shè)的異常數(shù)據(jù)庫(kù)中，及將所述用戶(hù)無(wú)效鍵值從所述用戶(hù)數(shù)據(jù)中刪除；

驗(yàn)證所述服務(wù)數(shù)據(jù)中的服務(wù)鍵值是否具有與其對(duì)應(yīng)的目標(biāo)文件；若是，則保留所述服務(wù)鍵值；若否，則判定所述服務(wù)鍵值為服務(wù)無(wú)效鍵值并將其保存在預(yù)設(shè)的異常數(shù)據(jù)庫(kù)中，及將所述服務(wù)無(wú)效鍵值從所述服務(wù)數(shù)據(jù)中刪除。

上述方案中，所述分片進(jìn)程包括：