[發明專利]一種數據同步方法及系統

在審

• 申請號: 201911075133.4
• 申請日: 2019-11-06
• 公開（公告）號: CN110569269A
• 公開（公告）日: 2019-12-13
• 發明（設計）人: 趙東;李慶東;王純斌
• 申請（專利權）人: 成都四方偉業軟件股份有限公司
• 主分類號: G06F16/2455
• 分類號: G06F16/2455;G06F16/27;G06F16/28;G06F16/23;G06F16/25
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種數據同步方法，基于源數據庫、目標數據庫和分布式緩存系統，其特征在于：源數據庫每成功發送一次變更數據后，更新分布式緩存系統中的源數據庫檢查點信息；目標數據庫每成功同步一次變更數據后，目標數據庫就更新分布式緩存系統中的目標數據庫檢查點信息。

2.根據權利要求1所述的一種數據同步方法，其特征在于：所述分布式緩存系統采用Redis分布式緩存系統。

3.根據權利要求1或2所述的一種數據同步方法，其特征在于：所述源數據庫發送變更數據的方法包括以下步驟：

S1、通過事件流抽取進程讀取源數據庫日志，獲取變更數據；

S2、事件流抽取進程將變更數據轉換成內部事件流；

S3、內部事件流通過網絡發送到目標數據庫。

4.根據權利要求3所述的一種數據同步方法，其特征在于：所述事件流抽取進程將變更數據轉換成內部事件流的方法包括以下步驟：

S201、事件流抽取進程讀取變更數據；

S202、事件流抽取進程處理變更數據，生成內部相應的事件流數據。

5.根據權利要求3所述的一種數據同步方法，其特征在于：所述目標數據庫同步變更數據的方法包括以下步驟：

S4、消息隊列通過網絡接收內部事件流；

S5、事件流同步進程將消息隊列接收到的內部事件流解析為SQL語句；

S6、目標數據庫根據解析得到的SQL語句進行同步。

6.根據權利要求5所述的一種數據同步方法，其特征在于：所述消息隊列采用開源消息隊列。

7.根據權利要求1或2所述的一種數據同步方法，其特征在于：還包括使用該方法的任意組件出現故障時的解決方法：

當源數據庫出現軟件或硬件故障時，包括以下步驟：

S701、重啟事件流抽取進程；

S801、事件流抽取進程從分布式緩存系統中獲取源數據庫檢查點信息；

S901、事件流抽取進程根據獲取的源數據庫檢查點信息從源數據庫中檢查點對應的位置重新開始讀取日志信息；

當目標數據庫出現軟件或硬件故障時，包括以下步驟：

S702、重啟事件流同步進程；

S802、事件流同步進程從分布式緩存系統中獲取目標數據庫檢查點信息；

S902、事件流同步進程根據獲取的目標數據庫檢查點信息從目標數據庫中檢查點對應的位置重新開始進行同步。

8.一種數據同步系統，其特征在于，包括用于存儲檢查點信息的分布式緩存系統，還包括數據同步平臺，所示數據同步平臺包括：

存儲器，用于存儲可執行指令；

處理器，用于執行所述存儲器中存儲的可執行指令，實現如權利要求5所述的更新分布式緩存系統中的源數據庫檢查點信息、更新分布式緩存系統中的目標數據庫檢查點信息、執行事件流抽取進程、消息隊列、事件流同步進程。