[發明專利]一種數據實時同步方法及系統

在審

• 申請號: 201811217640.2
• 申請日: 2018-10-18
• 公開（公告）號: CN109582731A
• 公開（公告）日: 2019-04-05
• 發明（設計）人: 陳凱;劉勝坤;王棟梁;劉志鋒;葉永叢;韋建明
• 申請（專利權）人: 恒峰信息技術有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F9/54
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 譚英強;鄭澤萍

本發明公開了一種數據實時同步方法及系統，該方法包括：當檢測到源數據庫發生數據變更時，獲取源數據庫的數據變更序列，并將數據變更序列保存到數據變更日志表中；當檢測到數據變更日志表發生數據變更時，獲取數據變更日志表中的變更數據并封裝成消息隊列信息后，將消息隊列信息發送到消息隊列中；通知需要同步數據的目標數據庫，以使得目標數據庫在接收到通知消息后，從消息隊列中讀取消息隊列信息后根據消息隊列信息進行數據更新操作；判斷消息隊列中的消息隊列信息均發送成功后，向目標數據庫發送同步完成消息通知。本發明同步方式簡單，程序開發難度低，而且同步效率高，可及時進行數據同步，周期較短，可廣泛應用于軟件技術行業中。

技術領域

本發明涉及互聯網技術領域，特別是涉及一種數據實時同步方法及系統。

背景技術

近年來，隨著學校校園信息化建設的蓬勃發展，各校都積極的建設自己的信息化平臺，但由于信息化建設初期缺乏統一規劃，很多學校信息系統出現了以下的問題：一、業務系統間沒有遵循統一的數據要求，沒有形成統一的數據交互規范；二、業務系統間的數據交互采用的方式是通過數據庫直連方式，直接進行數據庫表的操作，不但增加了數據庫的耦合度，還導致了數據庫訪問量過大，負擔過重的情況；三、業務系統如果需要訪問其他多個業務系統，則必須配置多個數據源，開發難度和維護難度增大；四、數據庫間關系錯綜復雜，大數據量的同步只能在夜間閑時執行，同步效率低，周期長。總的來說，目前校園化信息系統中，多個同構數據庫和異構數據庫之間的數據同步，存在訪問量大、維護難度大、效率低、周期長等問題。

名詞解釋

RabbitMQ：一個由erlang開發的開源消息隊列中間件；

SQL：Structured Query Language，結構化查詢語言。

發明內容

為了解決上述的技術問題，本發明的目的是提供一種高效、快速的數據實時同步方法及系統。

一方面，本發明實施例提供了一種數據實時同步方法，包括以下步驟：

當檢測到源數據庫發生數據變更時，獲取源數據庫的數據變更序列，并將數據變更序列保存到數據變更日志表中；

當檢測到數據變更日志表發生數據變更時，獲取數據變更日志表中的變更數據并封裝成消息隊列信息后，將消息隊列信息發送到消息隊列中；

通知需要同步數據的目標數據庫，以使得目標數據庫在接收到通知消息后，從消息隊列中讀取消息隊列信息后根據消息隊列信息進行數據更新操作；

判斷消息隊列中的消息隊列信息均發送成功后，向目標數據庫發送同步完成消息通知。

進一步，所述當檢測到源數據庫發生數據變更時，獲取源數據庫的數據變更序列，并將數據變更序列保存到數據變更日志表中這一步驟，其具體為：

監聽源數據庫的變更日志，并在檢測到源數據庫發生數據變更時，獲取源數據庫的數據變更序列，并將數據變更序列封裝成預設的消息格式后，保存到數據變更日志表中。

進一步，所述判斷消息隊列中的消息隊列信息均發送成功后，向目標數據庫發送同步完成消息通知這一步驟中，所述目標數據庫在接收到同步完成消息通知后，將已完成同步的數據的數據狀態設置為已同步。

進一步，所述當檢測到數據變更日志表發生數據變更這一步驟中，通過定時掃描數據變更日志表來檢測數據變更日志表是否發生數據變更。

進一步，所述當檢測到數據變更日志表發生數據變更時，獲取數據變更日志表中的變更數據并封裝成消息隊列信息后，將消息隊列信息發送到消息隊列中這一步驟，其具體為：

當檢測到數據變更日志表發生數據變更時，獲取數據變更日志表中的變更數據并封裝成消息隊列信息，同時將所獲取的數據變更日志表中的變更數據標記為已讀；