[發明專利]一種數據實時同步方法及系統

在審

• 申請號: 201811217640.2
• 申請日: 2018-10-18
• 公開（公告）號: CN109582731A
• 公開（公告）日: 2019-04-05
• 發明（設計）人: 陳凱;劉勝坤;王棟梁;劉志鋒;葉永叢;韋建明
• 申請（專利權）人: 恒峰信息技術有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F9/54
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 譚英強;鄭澤萍

1.一種數據實時同步方法，其特征在于，包括以下步驟：

當檢測到源數據庫發生數據變更時，獲取源數據庫的數據變更序列，并將數據變更序列保存到數據變更日志表中；

當檢測到數據變更日志表發生數據變更時，獲取數據變更日志表中的變更數據并封裝成消息隊列信息后，將消息隊列信息發送到消息隊列中；

通知需要同步數據的目標數據庫，以使得目標數據庫在接收到通知消息后，從消息隊列中讀取消息隊列信息后根據消息隊列信息進行數據更新操作；

判斷消息隊列中的消息隊列信息均發送成功后，向目標數據庫發送同步完成消息通知。

2.根據權利要求1所述的一種數據實時同步方法，其特征在于，所述當檢測到源數據庫發生數據變更時，獲取源數據庫的數據變更序列，并將數據變更序列保存到數據變更日志表中這一步驟，其具體為：

監聽源數據庫的變更日志，并在檢測到源數據庫發生數據變更時，獲取源數據庫的數據變更序列，并將數據變更序列封裝成預設的消息格式后，保存到數據變更日志表中。

3.根據權利要求1所述的一種數據實時同步方法，其特征在于，所述判斷消息隊列中的消息隊列信息均發送成功后，向目標數據庫發送同步完成消息通知這一步驟中，所述目標數據庫在接收到同步完成消息通知后，將已完成同步的數據的數據狀態設置為已同步。

4.根據權利要求1所述的一種數據實時同步方法，其特征在于，所述當檢測到數據變更日志表發生數據變更這一步驟中，通過定時掃描數據變更日志表來檢測數據變更日志表是否發生數據變更。

5.根據權利要求1所述的一種數據實時同步方法，其特征在于，所述當檢測到數據變更日志表發生數據變更時，獲取數據變更日志表中的變更數據并封裝成消息隊列信息后，將消息隊列信息發送到消息隊列中這一步驟，其具體為：

當檢測到數據變更日志表發生數據變更時，獲取數據變更日志表中的變更數據并封裝成消息隊列信息，同時將所獲取的數據變更日志表中的變更數據標記為已讀；

將消息隊列信息發送到消息隊列中，并在消息隊列信息發送成功后，對應地將數據變更日志表中標記為已讀的變更數據刪除，或者在消息隊列信息發送失敗后，對應地將數據變更日志表中標記為已讀的變更數據的已讀標記進行還原。

6.一種數據實時同步系統，用于實現源數據庫和目標數據庫的數據同步，其特征在于，包括設置在源數據庫上的數據采集模塊、消息服務模塊以及設置在目標數據庫上的數據同步模塊；

所述數據采集模塊，用于當檢測到源數據庫發生數據變更時，獲取源數據庫的數據變更序列，并將數據變更序列保存到數據變更日志表中；

所述消息服務模塊，用于當檢測到數據變更日志表發生數據變更時，獲取數據變更日志表中的變更數據并封裝成消息隊列信息后，將消息隊列信息發送到消息隊列中；

通知需要同步數據的目標數據庫的數據同步模塊；

判斷消息隊列中的消息隊列信息均發送成功后，向目標數據庫發送同步完成消息通知；

所述數據同步模塊，用于在接收到通知消息后，從消息隊列中讀取消息隊列信息后根據消息隊列信息進行數據更新操作。

7.根據權利要求6所述的一種數據實時同步系統，其特征在于，所述數據采集模塊基于觸發器法、日志法或API法捕捉變更數據；

所述數據采集模塊基于觸發器法捕捉變更數據的過程如下：在源數據庫中為同步對象創建相應的觸發器，當同步對象進行變更時，所創建的觸發器被喚醒并獲取對象變更序列；

所述數據采集模塊基于日志法捕捉變更數據的過程如下：啟用源數據庫的數據庫日志，并記錄所有成功提交的操作記錄信息，通過分析數據庫日志的信息捕捉同步對象的變更序列；

所述數據采集模塊基于API法捕捉變更數據的過程如下：在應用程序與源數據庫之間加入一層中間處理層，當應用程序對源數據庫進行修改的同事，通過中間處理層記錄同步對象的變更序列。