[發明專利]基于日志解析的異構數據庫的雙向同步方法和同步裝置

有效

• 申請號: 202010714023.4
• 申請日: 2020-07-22
• 公開（公告）號: CN112035463B
• 公開（公告）日: 2023-07-21
• 發明（設計）人: 孫峰;彭青松;劉啟春
• 申請（專利權）人: 武漢達夢數據庫股份有限公司
• 主分類號: G06F16/22
• 分類號: G06F16/22;G06F16/23;G06F16/2455;G06F16/27;G06F16/18
• 代理公司: 深圳市六加知識產權代理有限公司 44372
• 代理人: 向彬

1.一種基于日志解析的異構數據庫的雙向同步方法，其特征在于，所述雙向同步方法應用于雙向同步系統，所述雙向同步系統包括兩個數據同步系統，所述數據同步系統包括數據同步服務和數據庫，兩個數據同步系統互為本端數據同步系統和對端數據同步系統，所述雙向同步方法包括：

分別為所述雙向同步系統中的兩個數據同步系統創建專屬用戶；

在數據同步服務初始啟動時，設置同步事務的過濾用戶為本端數據同步系統中創建的專屬用戶；其中，專屬用戶為普通的數據庫用戶對象，且僅供數據同步服務所使用，不提供給其他應用使用；設置所述專屬用戶只用于數據同步服務，并為所述專屬用戶設置數據庫權限；

在進行增量數據同步時，位于所述本端數據同步系統的數據同步服務獲取操作日志，對所述操作日志進行解析得到所述操作日志所屬的用戶對象；

判斷所述操作日志所屬的用戶對象是否為過濾用戶；具體包括：實時讀取本端數據庫的日志文件，捕獲出增量的操作日志，根據捕獲到的操作日志，讀取出操作日志所屬的用戶對象，如果是過濾用戶，則丟棄所述操作日志；否則，解析該操作日志內容，轉換為特定的消息格式，傳遞給日志傳輸模塊；

若是，則丟棄所述操作日志；

若不是，則將所述操作日志發送至所述對端數據同步系統，所述對端數據同步系統使用其上的專屬用戶創建的數據庫連接執行數據同步。

2.根據權利要求1所述的雙向同步方法，其特征在于，所述分別為所述本端數據同步系統和所述對端數據同步系統創建專屬用戶包括：

使用創建用戶語句，分別為所述本端數據同步系統和所述對端數據同步系統創建專屬用戶；

設置所述專屬用戶只用于數據同步服務，并為所述專屬用戶設置數據庫權限，其中，所述數據庫權限包括創建數據庫連接、執行SQL語句和操作待同步表。

3.根據權利要求1所述的雙向同步方法，其特征在于，所述數據同步服務包括日志捕獲模塊、日志傳輸模塊和同步執行模塊；

所述日志捕獲模塊捕獲數據庫系統的歸檔日志文件或在線日志文件中的操作日志；

對所述操作日志進行解析得到所述操作日志所屬的用戶對象，當所述操作日志所屬的用戶對象不為過濾用戶時，將所述操作日志轉換為同步服務系統內部統一格式的消息包，傳遞給所述日志傳輸模塊；

所述日志傳輸模塊將經過格式轉換的所述操作日志發送到對端的數據同步服務，還接收對端發送過來的操作日志；

所述同步執行模塊接收對端發過來的操作日志，根據操作日志所屬的事務進行分類，并使用其上的專屬用戶創建的數據庫連接執行本次同步操作。

4.根據權利要求1所述的雙向同步方法，其特征在于，所述方法還包括：

在數據同步服務初始啟動時，通過配置文件形式讀取配置的過濾用戶的名稱，以根據過濾用戶的名稱對同步過程中事務的進行控制和過濾。

5.根據權利要求1所述的雙向同步方法，其特征在于，所述雙向同步方法還包括：

數據同步的實現過程包括：

在本地內存中建立關聯列的結果集；

在接收到同步表的操作日志后，基于所述結果集對所述操作日志進行過濾，以選擇性對所述操作日志進行同步。

6.根據權利要求5所述的雙向同步方法，其特征在于，所述在接收到同步表的操作日志后，基于所述結果集對所述操作日志進行過濾，以選擇性對所述操作日志進行同步包括：

在接收到同步表的操作日志，對所述同步表的操作日志進行解析，得到所述同步表的關聯列的列值；

判斷所述同步表的關聯列的列值是否存在于所述結果集中；

若存在，則將當前操作日志添加至所述同步表的待執行操作隊列中，以進行數據同步；

若不存在，則丟棄當前操作日志。