[發明專利]一種數據同步方法、裝置、設備和存儲介質

在審

• 申請號: 202010838819.0
• 申請日: 2020-08-19
• 公開（公告）號: CN112035571A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 徐進
• 申請（專利權）人: 深圳樂信軟件技術有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27
• 代理公司: 北京品源專利代理有限公司 11332
• 代理人: 潘登

1.一種數據同步方法，其特征在于，包括：

獲取源數據庫中的多條數據操作記錄；

根據每條所述數據操作記錄中的表名稱信息和標識字段信息，確定每條所述數據操作記錄對應的目標哈希值，其中所述標識字段信息用于唯一標識表中的一條數據操作記錄；

基于所述目標哈希值和所述多條數據操作記錄對應的記錄順序，將具有相同目標哈希值的各條數據操作記錄按照所述記錄順序分發至同一線程中，以使各個線程并行執行相應的數據同步任務。

2.根據權利要求1所述的方法，其特征在于，根據每條所述數據操作記錄中的表名稱信息和標識字段信息，確定每條所述數據操作記錄對應的目標哈希值，包括：

確定每條所述數據操作記錄中的表名稱信息對應的第一哈希值和標識字段信息對應的第二哈希值；

基于所述第一哈希值和所述第二哈希值，確定所述數據操作記錄對應的目標哈希值。

3.根據權利要求2所述的方法，其特征在于，基于所述第一哈希值和所述第二哈希值，確定所述數據操作記錄對應的目標哈希值，包括：

將所述第一哈希值和所述第二哈希值進行相加，獲得的相加結果確定為所述數據操作記錄對應的目標哈希值。

4.根據權利要求1所述的方法，其特征在于，基于所述目標哈希值和所述多條數據操作記錄對應的記錄順序，將具有相同目標哈希值的各條數據操作記錄按照所述記錄順序分發至同一線程中，以使各個線程并行執行相應的數據同步任務，包括：

確定每個所述目標哈希值與每個線程之間的對應關系；

按照所述多條數據操作記錄對應的記錄順序，基于每條所述數據操作記錄對應的目標哈希值和所述對應關系，逐條將所述數據操作記錄分發至相應線程中；

通過并發執行各個線程，將每個線程中的各條數據操作記錄逐個寫入至目標數據庫中的相應表中。

5.根據權利要求4所述的方法，其特征在于，確定每個所述目標哈希值與每個線程之間的對應關系，包括：

若所述目標哈希值的數量小于或等于預設線程數量，則從各線程中選取與所述目標哈希值的數量相同的線程，并確定每個所述目標哈希值與選取的每個線程之間的對應關系；

若所述目標哈希值的數量大于預設線程數量，則對各個所述目標哈希值進行劃分，獲得所述預設線程數量的目標哈希值集合，并基于各所述目標哈希值集合，確定每個所述目標哈希值與每個線程之間的對應關系。

6.根據權利要求5所述的方法，其特征在于，對各個所述目標哈希值進行劃分，獲得預設線程數量的目標哈希值集合，包括：

將每個所述目標哈希值除以所述預設線程數量，獲得每個所述目標哈希值對應的余數；

將具有相同余數的各個目標哈希值劃分為一個目標哈希值集合。

7.根據權利要求5所述的方法，其特征在于，對各個所述目標哈希值進行劃分，獲得所述預設線程數量的目標哈希值集合，包括：

基于具有冪等性的預設負載均衡函數，對每個所述目標哈希值進行更新處理，獲得更新后的目標哈希值；

對各個更新后的目標哈希值進行劃分，獲得所述預設線程數量的目標哈希值集合。

8.一種數據同步裝置，其特征在于，包括：

數據操作記錄獲取模塊，用于獲取源數據庫中的多條數據操作記錄；

目標哈希值確定模塊，用于根據每條所述數據操作記錄中的表名稱信息和標識字段信息，確定每條所述數據操作記錄對應的目標哈希值，其中所述標識字段信息用于唯一標識表中的一條數據操作記錄；

數據處理模塊，用于基于所述目標哈希值和所述多條數據操作記錄對應的記錄順序，將具有相同目標哈希值的各條數據操作記錄按照所述記錄順序分發至同一線程中，以使各個線程并行執行相應的數據同步任務。

9.一種設備，其特征在于，所述設備包括：

一個或多個處理器；

存儲器，用于存儲一個或多個程序；

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現如權利要求1-7中任一所述的數據同步方法。

10.一種計算機可讀存儲介質，其上存儲有計算機程序，其特征在于，該程序被處理器執行時實現如權利要求1-7中任一所述的數據同步方法。