[發明專利]數據庫之間的數據同步方法和系統

有效

• 申請號: 201910040361.1
• 申請日: 2019-01-16
• 公開（公告）號: CN109960710B
• 公開（公告）日: 2023-04-11
• 發明（設計）人: 劉順
• 申請（專利權）人: 平安科技（深圳）有限公司
• 主分類號: G06F16/27
• 分類號: G06F16/27;G06F16/23;G06F16/242
• 代理公司: 華進聯合專利商標代理有限公司 44224
• 代理人: 李文淵

本申請數據同步技術領域，特別是涉及一種數據庫之間的數據同步方法和系統。該方法包括：源服務器讀取源數據庫的日志文件，并將所述日志文件解析成可識別文本；所述源服務器從所述可識別文本中篩選SQL語句，并將獲得的SQL語句轉換成標準SQL語句；所述源服務器將所述標準SQL語句封裝成訂閱消息并發送至kafka集群；所述kafka集群在接收到所述訂閱消息后，向各目標服務器進行廣播；所述目標服務器在獲得所述訂閱消息后，對所述訂閱消息進行解封裝得到所述標準SQL語句，執行標準SQL語句，以將源數據庫中發送變化的數據同步至目標數據庫。采用本方法能確保在不同數據庫集群中進行數據同步時，達到實時同步的效果。

技術領域

本申請涉及數據同步技術領域，特別是涉及一種數據庫之間的數據同步方法和系統。

背景技術

在當前的互聯網時代，許多企業在網上為廣大用戶提供數字服務，使得數據訪問需求量呈井噴式增長，核心數據庫往往無法支撐如此大的并發操作，為此許多互聯網和金融等企業建立多個跨區域的目標數據庫，將大量業務數據從核心數據庫轉移到相應區域的目標數據庫中。

為確保企業業務的正常運轉，核心數據庫與各區域的目標數據庫之間需要實現數據同步，保證數據需的完整性和統一性。傳統的數據同步方案中，數據同步主要是同一個數據庫集群內的主從服務器之間互相進行數據同步。然而，在不同數據庫集群中進行數據同步時，由于無法達到數據實時同步而影響企業業務的正常運轉。

發明內容

基于此，有必要針對上述技術問題，提供一種數據庫之間的數據同步方法和系統，能夠確保在不同數據庫集群中進行數據同步時，達到實時同步的效果。

一種數據庫之間的數據同步方法，所述方法包括：

源服務器讀取源數據庫的日志文件，并將所述日志文件解析成可識別文本；

所述源服務器從所述可識別文本中篩選SQL語句，并將獲得的SQL語句轉換成標準SQL語句；篩選的所述SQL語句用于對數據庫中發生變化的數據進行操作；

所述源服務器將所述標準SQL語句封裝成訂閱消息并發送至kafka集群；

所述kafka集群在接收到所述訂閱消息后，向各目標服務器進行廣播；

所述目標服務器在獲得所述訂閱消息后，對所述訂閱消息進行解封裝得到所述標準SQL語句，執行所述標準SQL語句，以將所述源數據庫中發送變化的數據同步至目標數據庫。

在其中一個實施例中，所述SQL語句至少包括以下之一：新增語句、插入語句和刪除語句；所述源服務器從所述可識別文本中篩選SQL語句，并將獲得的SQL語句轉換成標準SQL語句包括：

所述源服務器獲取與所述新增語句、插入語句和/或刪除語句對應的關鍵詞；

所述源服務器從所述可識別文本中篩選與所述關鍵詞匹配的SQL語句，或者，將可識別文本中與所述關鍵詞不匹配的SQL語句進行過濾，得到篩選的SQL語句，并將獲得的SQL語句轉換成標準SQL語句。

在其中一個實施例中，所述標準SQL語句，至少包括以下之一：標準的新增語句、標準的插入語句和標準的刪除語句；

所述執行所述標準SQL語句，以使所述業務數據從所述源數據庫同步至目標數據庫包括：

所述目標服務器執行所述標準的新增語句，以將所述源數據庫中更新的業務數據同步更新至目標數據庫；和/或，

所述目標服務器執行所述標準的插入語句，以將所述源數據庫中插入的業務數據同步插入至目標數據庫；和/或，

所述目標服務器執行所述標準的刪除語句，以刪除目標數據庫中與所述源數據庫中被刪除的業務數據相對應的數據。

在其中一個實施例中，還包括：