[發明專利]分布式數據同步方法、裝置、設備及介質

在審

• 申請號: 202010143241.7
• 申請日: 2020-03-04
• 公開（公告）號: CN111459954A
• 公開（公告）日: 2020-07-28
• 發明（設計）人: 王盼
• 申請（專利權）人: 深圳壹賬通智能科技有限公司
• 主分類號: G06F16/23
• 分類號: G06F16/23;G06F16/2458;G06F16/27
• 代理公司: 深圳眾鼎專利商標代理事務所(普通合伙) 44325
• 代理人: 詹建新

本發明公開了一種分布式數據同步方法、裝置、設備及介質，所述方法包括：在分布式one?data集群中的one?data服務器上電時，獲取預設的配置文件，設置初始的配置參數，并將其記錄為執行參數；定時向zookeeper服務器發送注冊指令；接收來自zookeeper服務器發送的含有領導者的第一選舉指令，將將與所述領導者對應的所述one?data服務器由注冊機更改為領導機；定時監聽所有源服務器的源數據庫的日志文件；在存在數據變化時，獲取變更數據，通過python腳本進行解析，并轉換成目標數據庫匹配的SQL語句文本；發送至kafka集群；接收確定信息，確認將源數據庫中的變更數據成功同步至目標數據庫。如此，本發明解決了源數據庫和目標數據庫的區域局限性，保證了數據同步的完整性和及時性。

技術領域

本發明涉及數據同步領域，尤其涉及一種分布式數據同步方法、裝置、計算機設備及存儲介質。

背景技術

在當前的互聯網時代，許多企業在網上為廣大用戶提供各式各樣的數字服務，使得數據訪問需求量急劇增長，企業的核心數據庫往往無法支撐如此大的并發操作，為此許多互聯網和金融等企業建立多個跨區域的從屬數據庫，將大量業務數據從核心數據庫轉移到相應區域的從屬數據庫中，以供用戶根據不同的需求訪問相應區域的從屬數據庫，以減輕核心數據庫的訪問量，在現有技術中，由于同步服務器在轉移數據過程中異常中斷或者宕機，導致從核心數據庫同步至從屬數據庫的數據會缺失，以及在接收高并發的大數據時，由于同步服務器接收的數據超出同步服務器的接收容量，以致同步服務器的運行性能會大大下降，從而導致同步服務器的數據處理延遲或者數據丟失，因此，現有的同步服務器存在數據完整性和及時性的缺陷。

發明內容

本發明提供一種分布式數據同步方法、裝置、計算機設備及存儲介質，實現了提高了數據同步的速度，解決了不同區域源數據庫和目標數據庫的區域局限性，保證了數據同步的完整性和及時性，達到實時同步的效果。

一種分布式數據同步方法，包括：

在分布式one-data集群中的one-data服務器上電時，獲取預設的配置文件，根據所述配置文件設置上電的所述one-data服務器的初始的配置參數，并將所述初始的配置參數記錄為執行參數；

根據上電的所述one-data服務器的所述執行參數中的注冊參數，定時向zookeeper服務器發送與上電的所述one-data服務器對應的注冊指令；

接收來自所述zookeeper服務器發送的包含領導者的第一選舉指令，第一選舉指令將與所述領導者對應的所述one-data服務器的所述注冊參數中的領導字段由注冊機更改為領導機；所述領導者是在所述zookeeper服務器根據接收到的所述分布式one-data集群中的各上電的所述one-data服務器發送的所述注冊指令之后，根據接收到的各所述注冊指令選舉出的一個所述one-data服務器；

在上電的所述one-data服務器的注冊參數中的所述領導字段為所述領導機時，令所述領導字段為所述領導機的所述one-data服務器根據所述執行參數中的監聽參數和所述第一選舉指令中的起始時間，定時監聽所有源服務器的源數據庫的日志文件；

在監聽到所述源數據庫的日志文件存在數據變化時，令所述領導字段為所述領導機的所述one-data服務器獲取所述日志文件中的變更數據，通過python腳本將所述變更數據進行解析，并將解析后的所述變更數據轉換成與所述源數據庫對應的目標數據庫匹配的SQL語句文本；其中，一個所述源數據庫對應一個目標服務器中的所述目標數據庫；

將所述SQL語句文本封裝成訂閱消息并插入發送隊列中，通過所述發送隊列發送至kafka集群；