[發明專利]一種基于日志解析的數據同步方法及數據同步系統

有效

• 申請號: 202010329293.3
• 申請日: 2020-04-23
• 公開（公告）號: CN111694798B
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 黃海明;孫峰;余院蘭
• 申請（專利權）人: 武漢達夢數據庫股份有限公司
• 主分類號: G06F16/17
• 分類號: G06F16/17;G06F16/23;G06F16/27
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 向彬

1.一種基于日志解析的數據同步方法，其特征在于，所述數據同步方法包括：

從源端數據庫的日志中獲取每個操作對應的事務標識號，根據所述事務標識號將每個操作歸類到相應的事務隊列；

判斷是否存在操作數量達到設定值的待同步事務；

若存在，則將所述待同步事務中當前存在的操作同步至目標端數據庫；

在獲取到屬于所述待同步事務的操作后，以異步投遞的方式將相應的操作歸類到所述待同步事務。

2.根據權利要求1所述的數據同步方法，其特征在于，將所述待同步事務中當前存在的操作同步至所述目標端數據庫包括：

依次從所述待同步事務中取出待執行操作，其中，所述待執行操作中包含一個操作或多個操作；

獲取所述待執行操作的類型，根據所述待執行操作的類型執行相應的同步操作。

3.根據權利要求2所述的數據同步方法，其特征在于，獲取所述待執行操作的類型，根據所述待執行操作的類型執行相應的同步操作包括：

若所述待執行操作為DML操作，則獲取所述待執行操作的第一個操作的操作編號以及最后一個操作的操作編號，以獲取所述待執行操作對應的操作編號范圍；

通過所述第一個操作的操作編號和所述操作編號范圍創建所述待執行操作的保存點，將所述待執行操作的保存點添加至保存點鏈表；

將所述待執行操作同步至所述目標端數據庫。

4.根據權利要求3所述的數據同步方法，其特征在于，所述數據同步方法還包括：

若所述待執行操作為部分回滾操作，則獲取所述部分回滾操作需要回滾到的目標操作編號；

根據所述目標操作編號，在所述保存點鏈表中，獲取包含所述目標操作編號的目標保存點；

將所述待同步事務回滾至所述目標保存點。

5.根據權利要求4所述的數據同步方法，其特征在于，將所述待同步事務回滾至所述目標保存點之后還包括：

補充執行在回滾至所述目標保存點時，不屬于回滾范圍的操作。

6.根據權利要求5所述的數據同步方法，其特征在于，所述補充執行在回滾至所述目標保存點時，不屬于回滾范圍的操作包括：

獲取所述目標保存點中全部的操作編號；

判斷所述目標保存點中是否存在小于所述目標操作編號的操作編號；

若存在，則補充執行小于所述目標操作編號的操作編號對應的操作。

7.根據權利要求4所述的數據同步方法，其特征在于，在將所述待同步事務回滾至所述目標保存點之前還包括：

判斷所述目標保存點是否已經被回滾過；

若所述目標保存點未被回滾過，則將所述待同步事務回滾至所述目標保存點；

若所述目標保存點已經被回滾過，則無需再進行回滾。

8.根據權利要求2所述的數據同步方法，其特征在于，獲取所述待執行操作的類型，根據所述待執行操作的類型執行相應的同步操作包括：

當所述待執行操作為DML操作時，判斷相鄰的兩個操作是否為同類型操作，若相鄰的兩個操作為同類型操作，則將對應的操作歸類為同一待執行操作，以便于批量執行。

9.根據權利要求2～8任一項所述的數據同步方法，其特征在于，所述數據同步方法還包括：

若所述待執行操作為提交操作，則提交整個事務；

若所述待執行操作為回滾操作，則回滾整個事務。

10.一種數據同步系統，其特征在于，所述數據同步系統包括至少一個處理器；以及，與所述至少一個處理器通信連接的存儲器；其中，所述存儲器存儲有可被所述至少一個處理器執行的指令，所述指令被程序設置為執行如權利要求1～9任一項所述的數據同步方法。