[發明專利]數據校驗方法、裝置、電子設備以及可讀存儲介質

在審

• 申請號: 202010581955.6
• 申請日: 2020-06-23
• 公開（公告）號: CN111737230A
• 公開（公告）日: 2020-10-02
• 發明（設計）人: 朱博帥
• 申請（專利權）人: 北京奇藝世紀科技有限公司
• 主分類號: G06F16/21
• 分類號: G06F16/21;G06F16/23;G06F16/27
• 代理公司: 北京潤澤恒知識產權代理有限公司 11319
• 代理人: 呂俊秀

本發明實施例提供一種數據校驗方法、裝置、電子設備以及可讀存儲介質，旨在不暫停數據遷移或數據同步操作的條件下，實現數據校驗。其中，所述數據校驗方法包括：在源端數據庫和目標端數據庫之間進行數據遷移或數據同步期間，根據待校驗數據行的索引信息，從所述源端數據庫中獲取對應的源端數據行，并從所述目標端數據庫中獲取對應的目標端數據行；對所述源端數據行和所述目標端數據行進行比較，以確定所述待校驗數據行是否通過一致性校驗；在未通過一致性校驗的情況下，等待指定時長后，重新獲取對應的源端數據行和目標端數據行，并根據重新獲取的源端數據行和目標端數據行，再次判斷所述待校驗數據行是否通過一致性校驗。

技術領域

本發明涉及信息技術領域，特別是涉及一種數據校驗方法、裝置、電子設備以及可讀存儲介質。

背景技術

隨著信息技術的發展，越來越多的企業開始借助數據庫系統存儲和管理數據。以互聯網企業為例，其服務端通常需要借助數據庫集群存儲大量數據，例如商品信息、音視頻數據、用戶畫像、用戶歷史瀏覽記錄、用戶訂單數據等等。并且隨著用戶數量的增加和服務時間的累積，數據量也進一步積累。

在利用數據庫系統存儲和管理數據期間，出于業務的需要，或者由于數據庫容量即將耗盡，通常會在不同數據庫之間執行數據遷移或數據同步任務。由于數據遷移或數據同步任務需要跨數據庫傳輸數據，為了確保數據在遷移前后保持一致，或者為了確保數據在同步至目標端數據庫后與源端數據庫中的原始數據保持一致，通常需要對被遷移或被同步的數據進行一致性校驗。

相關技術中，為了實現對被遷移或被同步的數據的一致性校驗，通常是在暫停數據遷移或數據同步操作之后，即在源端數據庫和目標端數據庫中的數據不動態變化的條件下，對在源端數據庫和目標端數據庫之間被遷移或被同步的數據進行一致性校驗。由于相關技術中的這種數據校驗方法需要暫停數據遷移或數據同步操作，因此會影響數據遷移或數據同步效率。

發明內容

本發明實施例的目的在于提供一種數據校驗方法、裝置、電子設備以及可讀存儲介質，旨在不暫停數據遷移或數據同步操作的條件下，實現數據校驗。

具體技術方案如下：

在本發明實施例的第一方面，提供了一種數據校驗方法，所述方法包括：

在源端數據庫和目標端數據庫之間進行數據遷移或數據同步期間，根據待校驗數據行的索引信息，從所述源端數據庫中獲取所述索引信息對應的源端數據行，并從所述目標端數據庫中獲取所述索引信息對應的目標端數據行；

在獲取到所述源端數據行和所述目標端數據行的情況下，對所述源端數據行和所述目標端數據行進行比較，以判斷所述待校驗數據行是否通過一致性校驗；

在所述待校驗數據行未通過一致性校驗的情況下，等待指定時長后，重新獲取所述索引信息對應的源端數據行和目標端數據行，并根據重新獲取的源端數據行和目標端數據行，再次判斷所述待校驗數據行是否通過一致性校驗。

在本發明實施例的第二方面，提供了一種數據校驗裝置，所述裝置包括：

數據行獲取模塊，用于在源端數據庫和目標端數據庫之間進行數據遷移或數據同步期間，根據待校驗數據行的索引信息，從所述源端數據庫中獲取所述索引信息對應的源端數據行，并從所述目標端數據庫中獲取所述索引信息對應的目標端數據行；

數據行比較模塊，用于在獲取到所述源端數據行和所述目標端數據行的情況下，對所述源端數據行和所述目標端數據行進行比較，以判斷所述待校驗數據行是否通過一致性校驗；

循環模塊，用于在所述待校驗數據行未通過一致性校驗的情況下，等待指定時長后，重新獲取所述索引信息對應的源端數據行和目標端數據行，并根據重新獲取的源端數據行和目標端數據行，再次判斷所述待校驗數據行是否通過一致性校驗。