[發明專利]一種數據庫同步方法

在審

• 申請號: 202011072494.6
• 申請日: 2020-10-09
• 公開（公告）號: CN112256794A
• 公開（公告）日: 2021-01-22
• 發明（設計）人: 周宇;徐波;李帆;宋愛國;劉嘉
• 申請（專利權）人: 國網江西省電力有限公司檢修分公司;國家電網有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/22;G06F16/242;G06F16/28
• 代理公司: 江西省專利事務所 36100
• 代理人: 張文

本發明公開了一種數據庫同步方法，包括可以監測源數據庫中某張表的某個字段，當發生變化時同步到指定目標數據庫中指定表中的指定字段；源數據庫中數據庫名稱、表名稱及字段名稱，均可以與目標數據庫不同，可實現不同表不同字段的內容同步，可以滿足用戶的自定義操作。多進程負載均衡的設計，可以提升數據庫同步效率。本發明采用簡單的腳本提供了穩定可靠的數據庫同步功能，基于python腳本部署，配置和部署簡單，可移植性強，自由性強，可以較為簡單地嵌入到各種平臺使用，滿足實時性要求不高的小型數據庫系統單向同步；該同步方法可以實現數據庫表不同字段之間的數據同步，極大地豐富了數據庫同步的自由性，滿足使用者的定制化需求。

技術領域

本發明涉及計算機應用技術領域，尤其是涉及一種數據庫同步方法。

背景技術

在智能化高度發達的今天，數據庫存儲服務已經被廣泛應用。其中基于數據庫日志分析的同步技術因延時較低且對源數據庫數據侵入較小，被廣泛使用，如阿里的canal技術或mysql自身的同步服務。

雖然canal、mysql自身的同步服務等現有技術功能強大，但其運行需要依賴特有的運行環境，會使整個系統變得十分龐大，如canal需要部署java環境，不利于小型系統的部署；同時，在實際運行過程中，數據庫日志的頻繁讀取解析，sql的逆向生成等一系列操作，會造成數據庫運行效率的下降，且在同步中出現問題后不容易排查。同時，遇到異構數據庫之間的數據庫日志格式及內容差異較大，可能無法實現。

發明內容

本發明的目的在于提供一種能快速部署、配置簡易、適用于小型系統的數據庫同步方法。

數據庫同步時，將數據庫A的數據庫表TA的數據同步到數據庫B的數據庫表TB中，則將數據庫A叫做源數據庫，數據庫表TA叫做源數據庫表；數據庫B叫做目標數據庫，數據庫表TB叫做目標數據庫表；源數據庫表和目標數據庫表統稱同步數據庫表；

源數據庫表中需要同步的字段叫做源數據庫表標定同步字段(以下簡稱源表標定字段)，目標數據庫表中需要同步的字段叫做目標數據庫表標定同步字段(以下簡稱目標表標定字段)；源表標定字段和目標表標定字段一一對應，統稱標定字段組

源表標定字段包含字段名(以下簡稱源表標定字段名)、字段類型(以下簡稱源表標定字段類型)；目標表標定字段包含字段名(以下簡稱目標表標定字段名)、字段類型(以下簡稱目標表標定字段類型)；

從源數據庫表中查到的數據叫做源數據庫表數據，為一條或多條，每條數據包含源表標定字段的數值(以下簡稱源表標定字段值)；從目標數據庫表中查到的數據叫做目標數據庫表數據，為一條或多條，每條數據包含目標表標定字段的數值(以下簡稱目標表標定字段值)。

本發明的目的是這樣實現的：

一種數據庫同步方法，特征是：包括以下步驟：

A、加載所有數據庫同步文件和數據庫參數配置文件；

B、獲取第一個數據庫同步文件中的源數據庫表、目標數據庫表、標定字段組；

C、從源數據庫中讀取源數據庫表的數據，再從目標數據庫中讀取目標數據庫表的數據；

D、對源數據庫表與目標數據庫表的標定字段組的數據進行比較，如果需要同步，則調用sql語句進行同步操作；

E、如存在下一個數據庫同步文件，則獲取下一個數據庫同步文件中的源數據庫表、目標數據庫表、標定字段組，跳轉到C步驟；如不存在下一個數據庫同步文件，則跳轉B步驟。

其中，步驟A中數據庫的源數據庫和目標數據庫相同或不同。

其中，支持多進程同步，每個進程負責一部分源數據庫表到目標數據庫表的同步工作，以上B-E步驟在每個子進程上單獨處理。