[發(fā)明專利]一種數(shù)據(jù)同步方法、裝置、設備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202010838819.0
• 申請日: 2020-08-19
• 公開（公告）號: CN112035571A
• 公開（公告）日: 2020-12-04
• 發(fā)明（設計）人: 徐進
• 申請（專利權）人: 深圳樂信軟件技術有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

本發(fā)明實施例公開了一種數(shù)據(jù)同步方法、裝置、設備和存儲介質(zhì)，該方法包括：獲取源數(shù)據(jù)庫中的多條數(shù)據(jù)操作記錄；根據(jù)每條數(shù)據(jù)操作記錄中的表名稱信息和標識字段信息，確定每條數(shù)據(jù)操作記錄對應的目標哈希值，其中標識字段信息用于唯一標識表中的一條數(shù)據(jù)操作記錄；基于目標哈希值和多條數(shù)據(jù)操作記錄對應的記錄順序，將具有相同目標哈希值的各條數(shù)據(jù)操作記錄按照記錄順序分發(fā)至同一線程中，以使各個線程并行執(zhí)行相應的數(shù)據(jù)同步任務。通過本發(fā)明實施例的技術方案，可以解決現(xiàn)有技術中無法對同一張表中的數(shù)據(jù)操作記錄進行并發(fā)處理的情況，提高數(shù)據(jù)同步效率。

技術領域

本發(fā)明實施例涉及計算機技術，尤其涉及一種數(shù)據(jù)同步方法、裝置、設備和存儲介質(zhì)。

背景技術

隨著計算機技術的快速發(fā)展，通常需要對數(shù)據(jù)進行數(shù)據(jù)操作，比如寫入操作、更新操作等，并基于源數(shù)據(jù)庫中的數(shù)據(jù)操作記錄，對目標數(shù)據(jù)庫進行相應操作，實現(xiàn)數(shù)據(jù)同步。

現(xiàn)有技術中，通常是將源數(shù)據(jù)庫中的數(shù)據(jù)操作記錄基于表維度進行劃分，將具有相同表名的數(shù)據(jù)操作記錄，按照源數(shù)據(jù)庫中的數(shù)據(jù)操作順序發(fā)送至同一個線程中進行處理，以保證數(shù)據(jù)同步的準確性。

然而，在實現(xiàn)本發(fā)明過程中，發(fā)明人發(fā)現(xiàn)現(xiàn)有技術中至少存在如下問題：

現(xiàn)有數(shù)據(jù)同步方式是同一張表中的所有數(shù)據(jù)操作記錄均由同一個線程順序處理執(zhí)行的，從而使得同一張表中的數(shù)據(jù)操作記錄無法并發(fā)處理，大大降低了數(shù)據(jù)同步效率。

發(fā)明內(nèi)容

本發(fā)明實施例提供了一種數(shù)據(jù)同步方法、裝置、設備和存儲介質(zhì)，以解決現(xiàn)有技術中無法對同一張表中的數(shù)據(jù)操作記錄進行并發(fā)處理的情況，提高數(shù)據(jù)同步效率。

第一方面，本發(fā)明實施例提供了一種數(shù)據(jù)同步方法，包括：

獲取源數(shù)據(jù)庫中的多條數(shù)據(jù)操作記錄；

根據(jù)每條所述數(shù)據(jù)操作記錄中的表名稱信息和標識字段信息，確定每條所述數(shù)據(jù)操作記錄對應的目標哈希值，其中所述標識字段信息用于唯一標識表中的一條數(shù)據(jù)操作記錄；

基于所述目標哈希值和所述多條數(shù)據(jù)操作記錄對應的記錄順序，將具有相同目標哈希值的各條數(shù)據(jù)操作記錄按照所述記錄順序分發(fā)至同一線程中，以使各個線程并行執(zhí)行相應的數(shù)據(jù)同步任務。

第二方面，本發(fā)明實施例還提供了一種數(shù)據(jù)同步裝置，包括：

數(shù)據(jù)操作記錄獲取模塊，用于獲取源數(shù)據(jù)庫中的多條數(shù)據(jù)操作記錄；

目標哈希值確定模塊，用于根據(jù)每條所述數(shù)據(jù)操作記錄中的表名稱信息和標識字段信息，確定每條所述數(shù)據(jù)操作記錄對應的目標哈希值，其中所述標識字段信息用于唯一標識表中的一條數(shù)據(jù)操作記錄；

數(shù)據(jù)處理模塊，用于基于所述目標哈希值和所述多條數(shù)據(jù)操作記錄對應的記錄順序，將具有相同目標哈希值的各條數(shù)據(jù)操作記錄按照所述記錄順序分發(fā)至同一線程中，以使各個線程并行執(zhí)行相應的數(shù)據(jù)同步任務。

第三方面，本發(fā)明實施例還提供了一種設備，所述設備包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序；

當所述一個或多個程序被所述一個或多個處理器執(zhí)行，使得所述一個或多個處理器實現(xiàn)如本發(fā)明任意實施例所提供的數(shù)據(jù)同步方法。

第四方面，本發(fā)明實施例還提供了一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，該程序被處理器執(zhí)行時實現(xiàn)如本發(fā)明任意實施例所提供的數(shù)據(jù)同步方法。

上述發(fā)明中的實施例具有如下優(yōu)點或有益效果：