[發明專利]數據同步方法、裝置、設備及存儲介質

在審

• 申請號: 201810748911.0
• 申請日: 2018-07-10
• 公開（公告）號: CN109033268A
• 公開（公告）日: 2018-12-18
• 發明（設計）人: 鐘誠;黃坤;阮金平;陳寬義;王運海;陶巖;杜毓淇
• 申請（專利權）人: 安心財產保險有限責任公司
• 主分類號: G06F17/30
• 分類號: G06F17/30
• 代理公司: 北京匯眾通達知識產權代理事務所(普通合伙) 11622
• 代理人: 梁明升

本發明公開了一種數據同步方法、裝置、設備及存儲介質，其中所述方法包括：監測源數據庫產生的日志文件的更新情況，所述日志文件中記錄有所述源數據庫的數據變更事項；在監測到所述日志文件發生更新時，根據所述數據變更事項更新目標數據庫。本發明實施例通過獲取日志文件中記錄的源數據庫的數據變更事項，更新目標數據庫，能夠準時保持源數據庫和目標數據庫中的數據一致性，從而達到數據同步遷移的目的。

技術領域

本發明實施例涉及計算機技術領域，尤其涉及一種數據同步方法及裝置。

背景技術

隨著互聯網的飛速發展，數據的體量越來越大。現實場景中要經常對數據進行復制和遷移。如何將這么大體量的數據準實時的同步到各種其它存儲介質，業內有各自不同的處理方式。

目前，主要使用Oracle Golden Gate軟件進行數據遷移，它通過解析源數據庫在線日志或歸檔日志獲得數據的增量變化，再將這些變化應用到目標數據庫，從而實現源數據庫與目標數據庫同步。具體的，通過解析mysql的binlog日志，把源庫的插入、更新、刪除等操作日志解析出來，并通過kafka消息隊列生產出來，客戶端程序獲取消息，并消費消息，把消息還原成對應的sql語句執行，以達到數據遷移的目的。

但是，由于消息隊列的生產消息和客戶端消費消息都是并行、多線程進行的，因此很多消息隊列無法保證消息的嚴格時序性，比如同一條記錄的update消息和insert消息，可能update消息比insert消息先到達客戶端，這樣給目標庫和源庫的一致性造成了極大的困擾。

發明內容

本發明實施例提供一種數據同步方法、裝置、設備及存儲介質，能夠準時保持源數據庫和目標數據庫中的數據一致性，從而達到數據同步遷移的目的。

第一方面，本發明實施例提供了一種數據同步方法，包括：

監測源數據庫產生的日志文件的更新情況，所述日志文件中記錄有所述源數據庫的數據變更事項；

在監測到所述日志文件發生更新時，根據所述數據變更事項更新目標數據庫。

第一方面，本發明實施例提供了一種數據同步方法，包括：

監測源數據庫的數據變更情況；

在監測到所述源數據庫發生數據變更時產生日志文件，并將對應的數據變更事項記錄在所述日志文件中，以便后續數據遷移時根據所述數據變更事項更新目標數據庫。

第三方面，本發明實施例還提供一種數據同步裝置，包括：

日志更新監測模塊，用于監測源數據庫產生的日志文件的更新情況，所述日志文件中記錄有所述源數據庫的數據變更事項；

數據更新模塊，用于在監測到所述日志文件發生更新時，根據所述數據變更事項更新目標數據庫。

第四方面，本發明實施例還提供一種數據同步裝置，包括：

數據變更監測模塊，用于監測源數據庫的數據變更情況；

日志文件產生模塊，用于在監測到所述源數據庫發生數據變更時產生日志文件，并將對應的數據變更事項記錄在所述日志文件中，以便后續數據遷移時根據所述數據變更事項更新目標數據庫。

第五方面，本發明實施例還提供一種設備，所述設備包括：

一個或多個處理器；

存儲裝置，用于存儲一個或多個程序，

當所述一個或多個程序被所述一個或多個處理器執行，使得所述一個或多個處理器實現本發明實施例第一方面所述的數據同步方法。